m 12. Jahrhundert wurde das Schloss vom Bischof von Roskilde erbaut. Nach seiner fertigstellung diente es als Unterkunft beider Könige und einige gehobenere Familien. Seit 1939 ist das Schloss Eigentum der Familie Bøttger, die das Schloss zu einem Hotel umbauen liessen

Wie jedes andere Schloss aus den grauen Vorzeiten, hat auch dieses seine ganze eigene Geschichte zu erzählen. Denn auch das Dragsholm Schloss wird heimgesucht. Und zwar von 3 Geistern. 2 von Ihnen sind weiblich und tragen die Namen graue und weiße Lady. Der Männliche spuk ist der Geist des Grafen von Bothwell.

Der Legende nach soll die graue Lady zu damaligen Zeiten als Magd auf dem Schloss gearbeitet haben. Eines Tages erhielt sie sehr ernste Zahnprobleme die ihr

Die Dame in weiß soll die Tochter einer der vielen vorhergehenden Besitzer des Schlosses sein. In jungen Jahren verliebte sie sich in einen gemeinen Mann der auf dem Schloss arbeitete. Die Beziehung hielt über einen längeren Zeitraum und schien etwas ernstes zu sein. Da ihr Vater ein reicher und angesehender Mann war, hielten die Beiden ihre Liebe geheim. Doch eines Tages fand der Vater ihr Geheimnis heraus und war äußert erbost darüber. Er war so verärgert darüber daß er seinen Bediensteten befahl seine Tochter in einer der dicksten Wände des Schlosses einzukerkern. Die Legende besagt daß sie aufgrund dieser Tragödie jede Nacht zum Schloß zurückkehrt und in den Corridoren wandelt.

1930 wurden neue Sanitäranlagen in das Schloss eingebaut. Für diesen Umbau war es nötig alte und zum Teil auch äußert dicke Wände abzutragen. Während dieser Arbeiten stießen die Arbeiter auf ein kleinese Loch in der Wand hinter dem sich ein Skelett in einem weißen Kleid befand. Dies könnte bestätigen daß die Geschichte der weißen Dame, die von vielen Augenzeugen gesehen wurde, sich tatsächlich so zugetragen hat wie die Legende es beschreibt.

Im Schloss befinden sich Kellerräume die für Gefangene vorgesehen waren. Gegen Ende des 16. Jahrhunderts, wurde hier der Graf von Bothwell gefangen gehalten. Er blieb über 5 Jahre in den Kellerräumen eingesperrt, bis er letzendich 1578 dort verstarb. Einige behaupteten daß er die letzten Jahre seines Lebens Geisteskrank gewesen sein, was den Umständen entsprechend auch nicht weiter verwunderlich ist. Sein Geist soll nun jede Nacht, in einer Pferdekutsche, auf den Gerichtshof des Schlosses erscheinen. Begleitet wird diese Erscheinung von den typischen Hufgeräuschen der Pferde.