Actuellement aucun document, dessin ou plan du château avant sa destruction, manuellement et à la poudre noire, en 1632 n'a été identifié. Mis à part quelques essais, aucun travail de recherche n'a été effectué auparavant et la plupart de ce que nous savons est ce qui a été reconstitué par les passionnés du Centre de Castellologie de Bourgogne (CeCaB) et notamment suivi par l’archéologue Hervé Mouillebouche, maître de conférences à l’université de Bourgogne-Franche-Comté..
Néanmoins, les vestiges qui ont survécu livrent leur propre histoire et, à partir de cela, les archéologues ont pu reconstituer l'essentiel du site. Leurs recherches détaillées et leurs mensurations présentent un château fort qui dominait la colline et qui, à une époque, était l’un des plus grands de France avec une tour philippienne qui s’élevait dans le ciel et était visible à des kilomètres à la ronde.
Les murs de protection du château fort mesuraient 100 mètres sur 70 et ils étaient protégés par d’autres murs extérieurs, dont le dernier s’étendait à mi-pente et tout autour de la colline. Les fortifications se trouvaient au centre d'un parc de 20 hectares entourées de murs, protégées par 12 autres tours.
La dernière enceinte du château fort était protégée par trois grandes tours d'angle mesurant chacune 10 mètres de diamètre dépassées par l'immense tour philippienne de 18 mètres de diamètre, hauteur estimée entre 30 et 40 mètres avec des murs épais de 4 mètres. La salle hexagonale interne mesurait 10 mètres de largeur.
En dehors des murs du château de 3 mètres d'épaisseur mais toujours à l'intérieur de la porte principale, se dressait l'imposant logis de l'abbé d'Amboise, dont un mur se dresse fièrement aujourd'hui près de 400 ans après les immenses explosions qui ont secoué le site et détruit les fortifications.
Nichée le long de la porte principale mais à l’écart des bâtiments principaux, la petite tour restaurée, dite de la poudrière, faisait "parler la poudre" pour la défense.
Le château a encore beaucoup de secrets à dévoiler. Les vestiges de deux des tours ont encore des escaliers intra-muros circulaires qui descendent en spirale dans le sol.
Le puits du château, comblé lors de la destruction afin de démilitariser le site, reste caché mais son emplacement a été confirmé par deux sources différentes.
Au cours des siècles, le château a été endommagé, détruit, reconstruit et agrandi. Les ajouts les plus importants ont été le jeu de paume et les écuries.