En décembre 1856, un incendie détruit totalement l'usine et quasi totalement l'habitation. L'essentiel des bâtiments conservés remonte donc à la reconstruction. En 1882, la propriété Garnier comprend maison, moulinage de soie, jardin, pâture, marais, saulées, battoir. Joseph Faidides en 1911 puis Lucien Monrozier en 1919 disposent à cet endroit d'une maison de concierge, serre, chapelle, maison, fabrique, fabrique à métiers. L'activité de l'usine pensionnat du Vernay stoppa durant la seconde guerre mondiale lorsque les bâtiments furent utilisés par les forces d'occupation puis par les troupes alliées. Les activités textiles sont interrompues en 1954, un certain démembrement scinde peu à peu la propriété et fait disparaître plusieurs éléments.