A szécsényi Baghy család 1622-ben kapott címeres nemeslevelet, Baghy Balázs, János és István révén, II. Ferdinánd királytól. A család ekkor Nógrád vármegyében, Szécsényben élt. A nemességet 1622 augusztusában hirdették ki a vármegye közgyűlésén. A família egyes ágai a XVIII. század elején Bács-, Csongrád- és Heves-Külső-Szolnok vármegyékbe költöztek át. Baghy Imre 1870 körül megvásárolta a mai Cserkeszőlő területén fekvő tópartpusztai birtokot Luby József Heves-Külső-Szolnok vármegyei főszolgabírótól, majd a vételt követően egy intézői épületet emeltetett itt. Évtizedek múlva, az akkoriban Kisasszonyszőlőnek is nevezett terület intézői lakásának kibővítésével, majd teljes átépítésével alakult ki a későbbi kastély.

Bagi Imre halála után Tópartpusztát fia, ifj. Baghy Imre örökölte, aki 1739 katasztrális holdnyi területtel rendelkezett a környéken. Övék volt a Cibakháza melletti Sárszeg északi részének fele és valószínűleg ekkor már a pusztakengyeli földek is a család birtokában voltak. 1899-ben I. Ferenc József Baghy Imrének, régi nemessége épségben tartása mellett, a Szécsényi előnevet adományozta. Ekkorra már a család székhelye átkerült Jász-Nagykun-Szolnok vármegyébe, pontosabban a mai Erzsébeti erdő területére (Kengyel-Bagimajor), melyet abban az időben Baghy nagy majornak hívtak. Szécsényi Baghy Imrének és feleségének öt gyermeke született: Béla, Gyula, Lujza, Erzsébet és Irma.

Szécsényi Baghy Béla 1871. április 2-án született, még Pusztakaszaperen. Jogot hallgatott Bécsben és Budapesten, ahol 1893-ban doktorált. Katonai szolgálatát követően kezdett a gazdálkodással foglalkozni, de emellett aktívan részt vett a közéletben is. 1895-ben Csongrád vármegye tiszteletbeli főszolgabírája lett, 1901–1905-ig a Szabadelvű Párt és Kunszentmárton országgyűlési képviselője. A XX. század első éveiben többször publikált a Vadász- és Versenylapban. Elnöke volt több vármegyei sportklubnak, és hathatósan működött közre az Országos Agarász Szövetség létrehozásában is, amely Szolnokon alakult. Baghy 1899. október 1-jén kötött házasságot Egerfarmosi és Sztregovai Kandó Irénnel, a neves gépészmérnök-feltaláló, Kandó Kálmán testvérhúgával. Az asszonyról tudnunk kell, hogy lány korában Liszt Ferenc tanítványától – Thomán Istvántól – tanult zongorázni, és tanára halála után megvásárolta a Liszt-hagyatékot, illetve egyéb gyűjteményekből is számos Liszt-ereklyét sikerült megszereznie. A németországi Liszt-kegyhelyek végiglátogatása után sokat tett a hazai Liszt-kultusz fejlesztéséért is. Anyagilag támogatta az Országos Liszt Ferenc Társaságot, amelynek egy ideig elnöke is volt, igen jelentős Liszt-gyűjteményét később a budapesti Liszt Múzeumra, illetve a Társaságra hagyományozta. Apja halála után Baghy Béla örökölte az Erzsébet-majori és cserkeszőlő-tóparti birtokokat, ahol nagyszabású építkezésekbe, fejlesztésekbe kezdett.

Baghy Béla 1918-as halálát követően Kandó Irén másodszor is házasságot kötött, 1922-ben férjhez ment a sáros-vármegyei ősnemes birtokos családból származó – szintén özvegy – Szinyei Merse Félixhez, Szinyei Merse Pál festőművész fiához. A jogot végzett Félix Sáros vármegye aljegyzőjeként működött, majd 1906-tól, két cikluson keresztül, a kisszebeni választókerület országgyűlési képviselője volt. Egy ideig a parlament jegyzői posztját is betöltötte. Baghy Béla gyermekei, Monyorói báró Urbán Gáspárné Baghy Ilona és Baghy Imre, anyjuk javára lemondtak tóparti örökségük haszonélvezetéről, amelynek fejében teljesen övék lett az Erzsébet-majori kastély és több Baghy birtok.

A Kisasszonyszőlőnek is nevezett Tópart elhanyagolt kis intézői lakának tágas kúriává történő átalakítását még Baghy Béla kezdte, de az átadás csak 1922-ben történt. Szinyei Merse Félix és neje, részben a pusztakengyeli Baghy kastélyból, részben a Sáros vármegyei jernyei Szinyei Merse kastélyból áthozatott antik bútorokkal és festményekkel rendezték be. Az évek során valóságos kis Liszt emlékhely is kialakult a házban. Szinyei Merse Félix messze földön híres, virágzó mintagazdaságot alakított ki a korábban veszteséges, gyenge talajú tóparti birtokból. Pincészetének keresett termékei voltak a „legfinomabb csemege ürmös (vermouth)” és a „legfinomabb special sec (coctail lelke)”. A kúria melletti tavat halastóvá alakíttatta, valamint nagy libatenyészetet és méhészetet létesített. A modern, automatizált tyúkfarm a legjobb fővárosi éttermeket látta el tojással, a fiatal kakasokért az állam adott jó pénzt. A bővizű artézi kút vizéből bolgár rendszerrel öntözték az újonnan telepített gyümölcsöst és a zöldséges kertet. A birtok spárgájának legfőbb vevője a Gundel étterem volt. A modernizálást a – Szinyei Merse sógora – Kandó Kálmán által tervezett erőművi berendezés is segítette, amely egy nagy búrában fogta fel a metángázt az artézi kút vizéből. A gázmotor által hajtott dinamó látta el árammal a házat, a kerti szökőkutat és a majort, a mezőgazdasági gépeket is beleértve. A konyhában a felfogott gázzal főztek, a vízvezeték pedig nem csak a fürdőszobát, hanem a kerti úszómedencét is táplálta. A házaspár a tóparti kúriát leginkább nyaranta használta, telente Budapesten élt. Az államosítás idején a helyi TSZ birtokába került az épületegyüttes, majd a rendszerváltást követő években az önkormányzat lett az új tulajdonos. Sajnos az elmúlt években az épület állaga roppant mód leromlott, mely méltatlan ehhez a kulturális és történelmi emlékhez.

A kastélyhoz tartozó borospince, ahol a híres ürmös bor is készült, LEADER forrásból 2015-ben már felújításra került és azóta is a település egyik turisztikai célpontja. A kastély épületének teljes körű felújítására, valamint kulturális és turisztikai célú hasznosítására több Európai Uniós pályázatot nyújtottunk be, melyek eredménye hamarosan várható. Célunk egy olyan interaktív látogatóközpont létrehozása, mely összegyűjtené és bemutatná Cserkeszőlő kulturális, gazdasági múltját és jelenét, valamint a Szinyei-Merse család művészeti hagyatékát és szeretnénk, ha Kandó Irén nyomán újra kialakulna egy Liszt Ferenc emlékhely is.

Fejlesztési elképzelésünk lényege egy olyan borászati élmény-látogatóközpont létrehozása, amely kínálati elemeivel képes a térségi turisztikai kínálat minőségi bővítésére, pozitív multiplikátorhatások érvényesítésére. A beruházás legfontosabb eleme a leendő látogatóközpontnak otthont adó Bagi – Szinyei Merse kúria épületének külső és belső felújítása, a kastélykert látogatóbaráttá tétele. A beruházás további fontos eleme a látogatóközpont által biztosítani kívánt kínálati elemekhez szükséges infrastrukturális és tárgyi feltételek megteremtése, együttműködések keretében lehetőségek biztosítása a térségi kkv szektor számára, valamint a munkahelyteremtés (4fő). A fejlesztés kapcsán olyan térségi kulturális, gasztronómiai és természeti értékekre alapozott, változatos interaktív programelemeket is felvonultató látogatóközpont kialakítását tervezzük megvalósítani, amely reflektál a térségi és megyei szintű igényekre. A fejlesztések kapcsán helyreállított kulturális értékek és a kialakítandó programelemek együttese lehetőséget kínálnak a településre látogatók számára a többnapos elfoglaltságra is.