Slottet kom i släktens ägo genom giftermål. Axel von Fersen d ä bodde i slottet tidvis med sina 4 barn och lämnade över slottet vid sin död till yngste barnet, Fabian. Slottet var i släktens ägo i nära 100 år. Utställningen om von Fersens tid på slottet finns på andra våningen längst in till vänster när man kommer upp för trappan.

Under tiden 1943 - 1945 ägdes slottet av Norska staten. Man bedrev där militär utbildning, eller som det officiellt hette polisutbildning. Sverige var ju neutralt och fick inte erbjuda plats för militär utbildning av utländska trupper. En isande kall kväll i januari 1945 eldades det friskt i alla slottets kaminer och eldstäder och det föll sig inte bättre än att gnistor spreds genom sprickor i murstocken och antände vindsvåningens träkonstruktion. Hela vinden brann ned och störtade ned på slottets tredje våningens tak som föll ihop. Slottet fick förödande skador. Utställningen om denna händelse och den norska förläggningen hittar ni på bottenvåningen, till vänster efter receptionen.