A kastély egy emeletes, két saroktornyos, 14 tengelyes copf épület, amely Fellner Jakab tervei szerint 1765 után épült, mikor Esterházy Miklós megbízásából a vár lebontásával annak helyére tervezett nagyszabású elgondolás anyagiak hiányában meghiúsult. Elkészülte 1777 körüli időre tehető. A kastélyegyüttes a várral, a tóval, valamint a mai Angolparkkal együtt voltaképp egy tájképi együttest alkot.
Az 1760-as évek elején Esterházy Miklós gróf a vár lebontásával, annak helyére nagyszabású, új kastély tervének az elkészítésével bízta meg Fellner Jakabot. A négy változatban kidolgozott terv megvalósítását részben Esterházy Miklós halála (1765), részben az anyagiak hiúsították meg. Fellner Jakab tervei szerint 1777-re csak egy szerényebb kastély készült el. A
A kastély történeti múltjához tartozik, hogy a Napóleon előli visszavonuláskor 1809. augusztus 22. és november 21. között Ferenc magyar király és Ludovika királyné a kastély lakója volt. 1848-49-ben a kastélyban éjszakázott Windisgrätz és Haynau.
A második világháború befejezése után 1945-ben a Népjóléti Minisztérium kiutalására a budapesti Lipótmezei Elmegyógyintézet egy részét a tatai Esterházy-kastélyban helyezték el. Az 1990-es évek elejéig kórházi célokra használták a kastélyt.
1989-ben a kastély előtti parkban felállították, Tóth Béla, Tatai Diana című lovas szobrát. 1999-től a pszichiátria kiköltöztetése után a kastély üresen áll, jelenleg a Műemlékek Nemzeti Gondnoksága kezelésében van. Felhasználásra többféle terv született, de ezek eddig nem jutottak el a megvalósulásig.