El castillo fue erguido en el siglo XI por los señores de los Baux. Durante los siglos XII y XIII, Baux fue un importante emplazamiento donde convergían la cultura y la política de la Provenza francesa medieval, principalmente a consecuencia del poder reinante de la familia de los señores de los Baux, aunque sufrió a menudo guerras locales y, en particular, las guerras baussenques entre 1145 y 1162 por la sucesión de Provenza.

Del año 1372 al 1399, Raimond de Turenne, vizconde de Turenne, pasó a ser el señor del castillo y las posesiones; en 1426, los Baux son vinculados al Condado de Provenza, antes de que pase a ser anexionado definitivamente a la corona de Francia en 1486.

En 1528, el castillo pasa a ser administrado por el condestable Anne de Montmorency y, de 1562 a 1598, sufre de nuevo los efectos de nuevas guerras, las de religión en Francia. Finalmente es desmantelado en 1632 y se hunde en el olvido.

La familia Grimaldi, la actual familia real de Mónaco, fue la última casa que habitó en el castillo; y aún conservan el título de Marqueses de los Baux.