Cet édifice, construit en pierre de taille, et recouvert d'ardoise, entre 1736 et 1741, comprenait un corps central et des ailes sur cour, en 1758, lui fut ajouté un prolongement de l'aile nord vers la rue, et en 1779, un prolongement de l'aile sud sur la rue, entre 1827 et 1828, l'architecte Cheussey se chargea du prolongement des ailes sur le jardin.

C'est un bâtiment d'une architecture élégante, un ensemble monumental homogène, avec une sculpture Louis XVI au niveau de l'avant corps, et des garde corps en ferronnerie, datant du 18e. Dans la chapelle se trouve un décor néo Louis XVI, réalisé entre 1877 et 1882. Ce monument servait, entre 1741 et 1906, au Grand Séminaire, puis fut occupé par l'armée à partir de 1909, sous le nom de la chaserne Dejean.

L'ensemble est composé d'un bâtiment monumental sur 4 niveaux, en forme de H, sur une surface de 7000m², chaque étage comprend de nombreuses grandes pièces séparées par un couloir. La chapelle, dans l'aile nord, comprend des vitraux, des plafonds sculptés et décorés. L'entrée principale, sur l'une la façade de 125m, s'ouvre sur un perron donnant sur la cour d'honneur.

Ancien séminaire, ancien hôpital militaire et caserne désaffectée en 1999, le site est inoccupé et non gardé depuis 2001. Le site comprend, sur deux parcelles d’une superficie totale de 14 543 m², plusieurs corps de bâtiments : Le bâtiment principal, en forme de H (dont les branches ont une épaisseur d’environ 10 m), dispose d’une surface d’environ 7 000 m² dans oeuvre et de 500 m² de sous-sol.