La caserne du 511e régiment du train a été conçue au XVIIIe siècle pour accueillir la 6e brigade du Royal d’artillerie. A ces débuts, elle s’organise autour de trois bâtiments, avec en plus la Porte Royale comme prison, la Porte de Comté pour l’artillerie et de la Tour du Signe.
À son arrivée en juin 1788, Bonaparte est logé aux Casernes dans le Pavillon de la Ville. Lors de son second séjour, il occupe la chambre n°10, celle qui est conservée aujourd'hui. Cette chambre, dont il ne subsistait aucun mobilier, a été reconstituée en 1863.