D'après La Tour-Varan, l'origine du mot Brunaux (ainsi orthographié) serait à  rechercher dans la langue celtique et le grec. Le nom renverrait à  une fontaine qui "coule" ou "des Fées". Le 24 juillet 1753, Anne-Marie Anselmet, seule héritière de la maison des Anselmet des Bruneaux, épousait Jean-Baptiste Michel de Charpin, comte de Feugerolles et marquis de La Rivière. Cette union fut célébrée un siècle après que Gabriel Anselmet eut reçu ses lettres de noblesse du roi, en récompense pour sa bravoure sur les champs de bataille. Jean-Antoine de La Tour-Varan descendait aussi de cette famille. La demeure passa donc aux Charpin - une famille beaucoup plus ancienne que les Anselmet. Ils transformèrent l'ancienne maison forte et restèrent propriétaires du château jusqu'en 1896.