A tó közelében található eredeti állapotába helyreállított kétszintes kastély Széchenyi Zsigmond híres „vadászkastélya” volt. Az épület a XIV. században földszintes vendégfogadóként működött a délről és kelet-nyugati irányból érkező utak csomópontjában.
A források szerint ezt a Balatonig nyúló birtokot gróf Széchenyi György kalocsai érsek, Egervár kapitánya – s így a Széchenyi család – 1677-ben kapta meg a török elleni harcban szerzett érdemeiért. Széchenyi György, mint az egervári és pölöskei végváraknak főkapitánya, Szent György várának és a hozzátartozó jószágainak örökös ura, 1688-ban kelt levelében „…Kőröshegy nevű kastély és faluhelyünkről…” ír. Ez az épület még földszintes volt a néphagyomány szerint.
A Széchenyi-kastélyt gróf Széchenyi Lajos építtette 1780-1790 körül, egyetemes, későbarokk, copft stílusban. Széchenyi Zsigmond így ír róla: „A múlt század legelején készült …a francia direktórium nevét viselő „directoire”-stílus tetszetősen egyszerű vonalai szerint. Lajos nevű dédapám építette gazdatiszti otthonnak. …Az emeleti szobákat „intervenciós” szobának mondják. Az elnevezésnek a tulajdonképpeni eredetére soha nem sikerült rájönnöm. Akkoriban így nevezték az efféle tartalék szobákat, ahova a tulajdonost …kvártélyozták időszaki látogatásakor.”
Széchenyi Zsigmond 1923-tól nyolc éven keresztül, 1931 őszéig lakott a kastélyban. Ebben a nyolc évben három Afrika-expedíciót vezetett. 1930-ban itt, a Kőröshegyi kastélyban született meg első, máig is legsikeresebb műve az első afrikai vadászexpedíciójának élményeiből, a „Csui”. Az „Ünnepnapok” című művében ezt írja: „De utolsó kőröshegyi éveimben, az egyre szaporodó oroszlánbőrök és egyéb afrikai fenevadak kiszorították már az esetleges vendégeket is. Sőt, utóbb már saját magam is csaknem kiszorultam, annyi lett a vadállat.” A vadászó gróf testvére fiának, gróf Széchenyi Gyulának adta nászajándékként a vadászkastélyt, aki egy Eszterházy herceglányt vett feleségül. A birtok jó része parkként volt berendezve, hozzá halastó is tartozott.
A kastélyt a II. világháború vihara lényegében megkímélte, majd 1945 után államosították. Széchenyi Zsigmond nem hagyta el az országot, hanem maga is részt vett a belső átalakításokban. A kastélyépületben öt lakás és a Termelőszövetkezet irodái kaptak helyet. További két lakás kialakítására került sor a konyhaépület bővítésével, toldalékok ragasztásával. Az új tulajdonosok (a Tanács és a helyi TSZ) a későbbiekben az épülettel nem sokat törődtek, számottevő karbantartást, felújítást nem végeztek. Ebben az időszakban egy gépjavító is működött itt a parkban, szanaszét heverő gépekkel és géproncsokkal.
A II. világháború után is voltak az átalakított kastélynak a Széchenyi családhoz tartozó lakói. Ők csak a földszinten éltek (3 szoba és a hercegnő kisszobája), az emeletet a helyi gépállomás emberei foglalták el. 1956-ban az épület utolsó Széchenyi lakói (idős házaspár három leánnyal és két fiúval) is elhagyták a kastélyt és az országot. Széchenyi Gyula gróf mérnökként dolgozott egy székesfehérvári építőipari vállalatnál, míg 1956-ban ő is elhagyta családjával az országot.
Az elmúlt kb. négy évtized során a park ritka fáit ismeretlen tettesek kivagdosták, építkezésekhez használták el, vagy eltüzelték. A kastélyt körülvevő kerítést és kapupilléreket is kidöntötték, elhurcolták.
A rendszerváltás óta az épületek üresen álltak, rajtuk semmilyen állagmegóvási munka nem történt. A melléképületek és az istálló romba dőlt, anyagait elhordták.
Az épületet 2000-ben egy magánszemély megvásárolta és egyben elhatározta, hogy az eredeti állapot visszaállításával méltó emléket állít Széchenyi Zsigmondnak.
A kastély felújítása lassan a végéhez közeledik. Az egyedülálló tölgyfaszerkezetű padláson helytörténeti kiállítást láthatnak majd az érdeklődők. Az emeleten könyvtár, a földszinten emlékszobák mutatják be a Széchenyi Zsigmond még fellelhető tárgyait, hagyatékát.
A kastélyhoz két hektár ősfás park, valamint 30 hektár összterületben erdő, rét, legelő és a kibővített völgyhídi halastórendszer tartozik.
A horgásztó kialakítása is Széchenyi Zsigmond nevéhez fűződik. Az akkoriban Angliából hozott nemes halak honosításával és tenyésztésével is kísérletezett, azonban egy nagy áradás a halállomány nagy részét elvitte. A tó sok éven keresztül gazdátlan és elhanyagolt volt, régi formájába a 2000-évek elején állították helyre. A horgásztó közepén található sziget Széchenyi Zsigmond vadász-leshelye volt, amely mára már a horgászok kedvelt helye lett.