W środku wsi Papowo Biskupie, na niewielkim wzniesieniu między Jeziorem Papowskim od zachodu a drugim wysychającym jeziorem, którego nikt jeszcze nie nazwał, znajdują się ruiny słynnego zamku.

Dawny zabytkowy budynek krzyżowców wyrósł pod koniec XIII wieku. Był to jeden z pierwszych zamków i klasztorów w jednym. Przez wieki był świadkiem wielu walk. Od XVII wieku zaczęto go rozbierać, a część materiału budowlanego przewieziono na budowę seminarium duchownego w Chełmnie.

Najlepiej zachowane jest skrzydło północne z kaplicą i kapitularzem, pozostałe części widoczne tylko nieznacznie, nawet tylko mury obwodowe. Osobliwością jest to, że budynek został zbudowany prawie wyłącznie z nieregularnych kamieni i granitu. Na miejscu gości przywita pomnik.