En 1747, Trudaine, intendant des finances, met en place au Bureau des dessinateurs du roi un enseignement "des sciences et pratiques nécessaires pour remplir avec capacité les différents emplois des Ponts et Chaussées". Ce bureau, créé en 1744, chargé de lever et dessiner les cartes du royaume de France, est alors confié à Jean-Rodolphe Perronet qui reçoit également la mission de former le personnel compétent pour le service des Ponts et Chaussées.
L'enseignement est original : les meilleurs élèves suivent à l'extérieur les cours de professeurs et enseignent ensuite à leurs camarades. Tous les élèves suivent également les cours de Jacques-François Blondel à l'Ecole d'architecture. En 1775, le terme d'école est adopté dans un règlement signé par Turgot.

La Révolution française menace sérieusement l'existence de l'Ecole. Après de multiples débats à l'Assemblée constituante, son maintien est finalement voté en 1790.
A la mort de Perronet en 1794, l'Ecole est complètement désorganisée : nombre de ses bons élèves sont partis aux armées et le système d'enseignement mutuel est donc compromis. Lamblardie, successeur de Perronet, propose alors la création d'une école préparatoire. Une loi du 28 septembre 1794 consacre l'organisation d'une nouvelle Ecole centrale des travaux publics qui devient bientôt Ecole Polytechnique. L'Ecole qui devait en être le noyau et disparaître est finalement maintenue comme école d'application.

Les premiers élèves externes (civils, c'est-à-dire non Polytechniciens) sont admis à l'Ecole à partir de 1851. Jusqu'au début des années 1880, les étrangers, admis jusque là uniquement comme auditeurs libres, sont majoritaires, puis peu à peu, le nombre d'élèves civils français augmente.

La première femme élève civile entre à l'Ecole en 1959 ; les premières femmes du corps, en 1975.

Initialement située rue Sainte-Avoye, dans le Marais à Paris, l'Ecole a déménagé une dizaine de fois en un siècle. En 1845, enfin, elle s'installe dans l'hôtel de Fleury, rue des Saints-Pères, Paris VIIe, où elle reste jusqu'en 1997 date à laquelle la plupart de ses services déménagent à Marne la Vallée.

En 2008, l'Ecole quitte définitivement la rue des Saints-Pères (l'hôtel de Fleury est vendu) et rassemble tous ses services à Marne-la-Vallée. Seules les associations et filiales restent à Paris et s'installent dans la Maison des ponts, rue de la Fontaine au Roi, dans le XIe, et rue de Varenne, dans le VIIe arrondissement.