Raray est une seigneurie pleinement constituée depuis le XIIe siècle. Plusieurs grands lignages se sont succédés comme seigneurs du lieu parmi lesquels les Bouteiller de Senlis, les de Ligny et les de Lancy.

     La famille de Ligny acquiert le fief de Raray en 1464 et la conservera pendant plus d’un siècle. Jean de Ligny et ses successeurs, par leurs carrières militaires, leur ascension au sein de la noblesse et leurs acquisitions foncières, contribuent à l’épanouissement et au renforcement de la seigneurie de Raray. Pendant 136 années, les de Ligny résideront dans l’ancien château, disparu, que nous connaissons grâce aux archives.

      Au début du XVIIe siècle, la seigneurie change de main et est achetée par Nicolas de Lancy. Proche conseiller des rois Henri IV et Louis XIII, c’est à lui et à son fils, Henri de Lancy, premier marquis de Raray, que nous devons la construction du château actuel. Un des éléments majeurs des projets architecturaux du château est la construction des deux haies dites cynégétiques, surmontées chacune d’une meute de chien et d’un animal évocateur : au nord, un cerf et au sud, un sanglier.

     C‘est ensuite au milieu du XVIIIe siècle que la famille des Barres prend la tête de la seigneurie de Raray. Le marquis Antoine-Henri-Claude des Barres et sa femme Agnès-Henriette-Félicité vont moderniser le domaine : ils détruisent le vieux château pour dégager la perspective, entretiennent le parc et rénovent le château construit par les de Lancy.

      A la mort de la marquise des Barres, en 1794 et malgré la Révolution, sa fille hérite de Raray. Cette dernière étant mariée à Charles-Henri de La Bédoyère la seigneurie leur est donc transmise. Parmi les membres illustres du lignage des La Bédoyère, le plus célèbre est sans nul doute le comte Charles, général d’Empire de Napoléon Bonaparte et un des plus fidèles soutiens de l’Empereur. Charles, son frère Henri et ses successeurs ont œuvré pour faire parvenir le château de Raray jusqu’à nous.

      Classé Monument Historique en 1924, le château a souffert des deux guerres mondiales. En 1945, quand Jean Cocteau découvre le monument, il tombe sous le charme des lieux et décide d’y tourner toutes les scènes extérieures de son célèbre film La Belle et la Bête.