On sait que l’histoire du château est liée à celle de la famille de RIVOIRE, une famille très ancienne du Dauphiné. Le château de Vermelle dans sa forme actuelle, figure sur le cadastre de 1832. Son emprise totale est à peu près carrée mais il est en réalité constitué d'un bâtiment en équerre, avec une aile tournée vers le sud et une aile tournée vers l'est. Une observation approfondie, révèle des phases de construction successives. On découvre trois fenêtres en trompe-l'oeil, dont une utilisée pour placer un cadran solaire. Le cadran solaire vertical est installé au premier étage sur la façade du château à l'emplacement d'une fausse fenêtre ou d'une fenêtre murée. Le château de Vermelle est entouré d'un vaste parc boisé clos de murs en pierre. On note, au sud, la présence de deux solides pavillons en pierre, recouverts de toitures à quatre pans en tuiles écaille. Au nord, dans le coude de la route, sont implantées les dépendances, également en pierre. A l'angle nord-ouest du domaine, on remarque la présence d'un double mur qui conserve la mémoire de dispositions antérieures à la construction de la dépendance actuelle.