Le château est situé sur un éperon rocheux qui domine la commune et le village de Hautefort. Créé sur une période allant de la fin du xvie siècle à la fin du xviie siècle sur les bases d’un ancien château-fort, son architecture évoque nettement les châteaux de la Loire. C’est l’un des rares édifices classiques de la Dordogne.
Il est construit à partir du xvie siècle sous la direction des architectes Nicolas Rambourg puis Jacques Maigret, pour la famille des marquis de Hautefort, proche du roi et ayant des charges importantes à la Cour. La famille est très appréciée des populations locales pour sa générosité envers les pauvres. Le marquis Jacques-François de Hautefort fera édifier dans le village un hospice en forme de croix grecque, du même style architectural que le château avec sa grande coupole centrale. À la Révolution, le château et la famille sont défendus par les habitants de Hautefort. Une armée conventionnelle d’Excideuil projetant de le détruire en tant que symbole de la féodalité d’Ancien Régime, les habitants du village font fondre leurs cuivres pour en faire des armes et sauvent leur château de la destruction.
