De aanwezigheid van een versterkt kasteel gaat terug tot de middeleeuwen. In 1565 besloot François de Vergy, de toenmalige heer van Champlitte, een renaissancevleugel aan het bestaande kasteel toe te voegen. Vlaamse en Italiaanse invloeden drukten hun stempel op de decoratie van deze gevel.
Helaas werd het kasteel in 1751 door brand verwoest; alleen de renaissancegevel bleef gespaard. De wederopbouw, toevertrouwd aan de Comtois architect Colombot, begon in 1765 onder leiding van Jean François de Toulongeon met de herbouw van de zuidelijke vleugel. Het werk ging door tot 1782 onder architect Bertrand, waardoor het gebouw ontstond dat we vandaag de dag bewonderen.
In 1804 werd het kasteel verfraaid met een uitzonderlijk interieurontwerp: panoramisch behang met de titel “De wilden van de Stille Oceaan” sierde de muren van de ovale salon op de begane grond, die bezoekers vandaag de dag nog steeds een adembenemend uitzicht biedt.
Een ander origineel kenmerk van het kasteel is de zomersalon, bijgenaamd “de grot”, die toegankelijk is via een wenteltrap. De ingang van deze ongebruikelijke ruimte werd ontworpen door beeldhouwer Luc Breton en bestaat uit neprotsen en twee zuilen die een unieke sfeer creëren.