A Hattyúliget utcai bejárathoz közel építette fel Esterházy Ferenc a Pálmaházat. Nyáron a kastélyból idehozták a citrom-, narancs- és pálmafákat.
Az épület kioszkként (étterem zenével) működött, és átjárható volt a Kristály uszodába. Az 1930-as évek végén a tatai egyetemi és főiskolai hallgatók itt rendezték meg a híres Anna-bálokat.