La villa venne costruita nel 1787 su un preesistente monastero francescano dal cardinale Angelo Maria Durini,[3] che dalla famiglia Giovio aveva ottenuto anche la vicina villa del Balbiano. Al cardinale, che nei periodi estivi e autunnali era solito ospitare presso la villa raduni di intellettuali (tra i quali Giuseppe Parini), si deve la realizzazione del loggiato settecentesco e dei due padiglioni da questo collegati.

Alla morte del Durini, nel 1797 la villa passò dapprima a Giuseppe Sepolina, che la ribattezzò secondo il proprio cognome.Successivamente, il complesso finì nelle mani di Luigi Porro Lambertenghi (nipote del Durini), il quale ebbe Silvio Pellico come precettore dei propri figli. La gestione Porro Lambertenghi comportò un restauro della chiesa di San Giovanni e dell'ex-monastero, oltre alla realizzazione di opere finalizzate a collegare internamente tutti i corpi di fabbrica compresi tra il loggiato e la darsena.

In seguito la proprietà venne acquistata da Giuseppe Arconati Visconti che, fra gli altri, ospitò nel suo salotto Giovanni Berchet, Giuseppe Giusti e Alessandro Manzoni.[6][ Il figlio di Giuseppe, Gianmartino Arconati Visconti, fece apportare miglioramenti al giardino e alla loggia, ma al graduale declino del casato corrispose un progressivo abbandono della villa, che per più di trent'anni fu lasciata a sé stessa. Il degrado fu la causa di una piccola torre-faro, dotata di orologio e campane, installata dagli Arconati Visconti all'ingresso del porto.