Dzieje zamku są nierozerwalnie związane z potężnym rodem von Wedel, który przybył na te ziemie z Holsztynu. Byli oni jednymi z najważniejszych feudałów na pograniczu brandenbursko-wielkopolskim. W XIV wieku Hasso von Wedel, a później jego potomkowie, ufundowali murowaną warownię, która miała strzec szlaków handlowych i granic.
Wzrost znaczenia rodziny w czasach Rzeczypospolitej Obojga Narodów doprowadził do spolonizowania gałęzi rodu, która przyjęła nazwisko Wedel-Tuczyńskich. To właśnie ich ambicje polityczne i majątkowe stały się impulsem do przekształcenia surowego zamku w okazałą rezydencję pałacową, godną przyjmowania królów.