Die Geschichte von Schloss Krossen reicht bis in das 10. Jahrhundert zurück. Die Anlage wurde zuerst 955 als castrum Crozsena urkundlich erwähnt. Ähnlich wie die benachbarte Haynsburg sollte sie wohl Schutz vor den Wenden bieten.
1585 verlieh Kurfürst August von Sachsen seinem langjährigen Hauptmann Wolf Ernst von Wolframsdorf für treue Dienste das Amt Crossen mit allen Rechten und Nutzungen auf Lebenszeit. Dieser ließ die Burg Crossen zu einer barocken Schlossanlage umbauen.
Die Schriftstellerin Elisabeth von Heyking erbt 1908 das Flemmingsche Schloss von einem kinderlos verstorbenen Vetter. Sie war die berühmteste Bewohnerin des Schlosses.