Alle pendici del Monte Fano, nel 1231, l'osimano Silvestro dei Guzzolini si ritirò a vita eremitica fondando un ramo, tutt'ora florido, dell'ordine benedettino e il monastero, presso una sorgente detta Fonte Vembrici.
La varie vicissitudini subite durante il corso ( depredazioni, incendi ecc. ) non hanno lasciato intatto nulla dell'originaria costruzione. Il fabbricato tutt'ora esistente venne ricostruito nei secoli XVII - XVIII ed è stato recentemente rimodernato.
Nella chiesa dedicata a S. Silvestro è conservata una tela attribuita a Claudio Ridolfi detto " veronesi " datata 1.632 che raffigura la Vergine che porge la S. Comunione al Santo.
Le decorazioni della volta, della cappella e della navata, furono eseguite da Giovanni Licci.
Sull'altare maggiore un urna, racchiude le spoglie del Santo, in ottone fuso nelle parti decorative, e laminato in quelle portanti con doratura galvanica e saldature in argento. Quest'urna venne attribuita al prof. Aronne Del Vecchio. Tra le decorazioni spiccano gli stemmi dell'Ordine Benedettino, della Congregazione Silvestrina e del Comune di Osimo e quello di Fabriano. Il monastero possiede un importante archivio della storia della congregazione e dei monasteri da essa dipendenti.