Pałac został wzniesiony w XVIII w. dla rodziny Szembeków, właścicieli miejscowości. W 1779 r. dobra w Grojcu kupił od Aleksandra Szembeka hrabia Ignacy Bobrowski z Bobrówki, herbu Jastrzębiec. Przez niemal 80 lat dobra były w posiadaniu Bobrowskich, do roku 1851. W ciągu tych dziesięcioleci nastąpiła zmiana stylistyki dworu z barokowej na klasycystyczną. W późniejszym okresie stylistyka zmieniła się ponownie - tym razem na neogotycką. W latach 1851-1905 Grojec należał do rodziny Chwalibóg.
W 1905 r. majątek kupiła księżna Wilhelmina Maria Radziwiłł. Do II wojny światowej właścicielami pałacu byli Radziwiłłowie. W czasach Polski Ludowej majątek w Grojcu został rozparcelowany, a pałac przekazano w zarząd Państwowemu Gospodarstwu Rolnemu. Następnie w budynku mieścił się Państwowy Dom Pomocy Społecznej. Później wykorzystywany był jako siedziba Powiatowego Zakładu Opiekuńczo-Leczniczego. Od ponad dwudziestu lat budynek niestety pozostaje pusty i niszczeje. Dwór w Grojcu otoczony jest parkiem krajobrazowym o pomnikowym drzewostanie.