Die Familie Górka war der Reformation zugeneigt und so wurde der Palast schnell zu einem lutherischen Zentrum. Nach dem Tod des letzten männlichen Erben im Jahr 1592, bekam die Familie Czarnkowski den Palast. Vier Jahre später ging der Palast an die Stadt, die ihn kurze Zeit später dem Benediktinerorden aus Chełm verkaufte. Nach der Auflösung des Klosters 1833 entstand zunächst eine Mädchenschule in dem Gebäude. Nach 1880 wurde das Gebäude zu einem Mietshaus umgebaut. Im Zweiten Weltkrieg brannte der Palast komplett nieder und wurde später in seiner heutigen Form wieder aufgebaut und zum Sitz des Archäologischen Museums gemacht.