Le conseil général décide, par délibération en date du 20 décembre 1862 la construction de l’asile de Ville-Evrard, dont les terres et le domaine du même nom sont acquis par le département de la Seine en 1863.

L’architecte Paul Eugène LEQUEUX en dessine les plans. Le premier patient est admis le 29 janvier 1868. Cette première année, l’asile de Ville-Evrard reçoit 716 malades.
De plan symétrique avec une organisation pavillonnaire et un regroupement des services généraux sur un axe central, il répond au principe de séparation des sexes et de classification thérapeutique des malades : les travailleurs, les tranquilles, l’infirmerie, les gâteux, les demi-agités et les agités. Jusqu’en 1884, le personnel soignant est essentiellement composé d’une quarantaine de religieuses de la congrégation de Saint-Joseph de Bourg.

En 1885, le personnel se laïcise et Ville-Evrard se dote d’une école départementale d’infirmiers. Quelques années plus tard, en 1888, la fonction de médecin-directeur se dissocie en deux fonctions distinctes.

La maison de santé
Face au manque à gagner d’une population aisée, dirigée vers des institutions privées, le conseil Général de la Seine vote la création d’un établissement destiné à recevoir des patients payants. Le 10 mars 1875, le Pensionnat de Ville-Evrard est inauguré. Ce sont les architectes LEQUEUX et MARECHAL qui en conçoivent les plans. Ceux-ci comprennent six pavillons, situés, en fonction des sexes, de part et d’autres de l’ancien château, lui-même reconverti en pavillon d’hospitalisation. Devant l’afflux des demandes d’admission, le Pensionnat est agrandi en 1880 de quatre pavillons supplémentaires, deux pavillons cellulaires, une cuisine et des bains.

Ces édifices, dus à l’architecte MARECHAL, s’inscrivent dans une même unité architecturale de sobriété et de symétrie. Enfin, entre 1902 et 1907, sont construits les deux derniers pavillons dits de traitement continu et dessinés par l’architecte Raphaël LOISEAU.

Au Pensionnat, le patient et sa famille peuvent choisir entre trois classes dont la différenciation tarifaire reflète la qualité des prestations hôtelières : en dortoirs de dix à douze pensionnaires, trois à quatre ou en chambre individuelle pour la première classe. Le Pensionnat de Ville-Evrard ou dit de Neuilly-sur-Marne est également appelé Maison Spéciale de Santé ou Maison de Santé afin de se démarquer du milieu asilaire.

Les pensionnaires et les aliénés ne se côtoient pas, il existe deux administrations.
L’Institut médico psychologique (1944-1968). Le dépeuplement consécutif à la seconde guerre mondiale associé à la baisse des effectifs de la Maison de Santé permet l’affectation de deux pavillons à l’Institut médico pédagogique (IMP).

Cette structure fonctionne sous forme d’internat : scolarise et délivre des traitements médicaux à des enfants rééducables (« débile intellectuel léger, retardé scolaire, débile moteurs, énurétique »).

Le 5 janvier 1944, l’IMP accueille 90 enfants âgés de 7 ans à 14 ans. Six mois plus tard, l’ouverture d’un troisième pavillon porte la capacité d’accueil à 120 enfants (40 filles et 80 garçons).
Malgré des conditions d’hébergement médiocres et inadaptées (deux pavillons pour les garçons et un pour les filles), le succès de cet institut ne se démentira pas au regard du fort taux d’occupation jusqu’en 1968.

Le quartier des travailleurs plus tard dénommé service spécial. De 1872 à 1878, Ville-Evrard se dote de nouveaux quartiers, dits les quartiers d’ateliers ou les « grands quartiers » destinés à recevoir les malades travailleurs. Ce quartier est divisé en deux, Pinel et Esquirol, lesquels se partagent les ateliers de menuiserie, de serrurerie, des tailleurs et des cordonniers.
Les aliénés travailleurs se recrutent également à l’asile : ils représentent un vivier de main d’œuvre qualifié présents à la ferme, à l’exploitation agricole, aux cuisines, à la buanderie, dans les bureaux ou encore comme domestiques chez le personnel logé. Ils contribuent ainsi, à moindre coût, au fonctionnement de l’établissement et reçoivent en échange un pécule.

En 1896, ce quartier est entièrement affecté aux malades alcooliques dont le travail est reconnu comme l’une des thérapies contre la dépendance à l’alcool.
A partir de 1898, tous les malades alcooliques hommes sont regroupés à Pinel et Esquirol, désormais dénommés, le Service Spécial. Ce Service Spécial est conçu pour accueillir 500 malades alcooliques mais ils y côtoieront les malades les plus difficiles et agités (pavillon Morel) et des tuberculeux (pavillon Falret). Il fermera ses portes en 1970 avec la mise en place de la sectorisation.