Un peu plus haut que notre premier arrêt, se trouve un vaste ensemble semi-circulaire non identifié qui date probablement du IIe ou du IIIe siècle, à l'époque de l'ancienne cité gallo-romaine de Vesontio. Ce square, en état de ruine, est situé non loin de la Porte Noire, témoin important de cette période de la ville (XVIIème)
Ces ruines sont déjà évoquées au XVIIe et XVIIIe siècle. On y trouvait une église, l'église Saint-Jean-Baptiste dont l'utilisation cessa juqu'à la Révolution, en 1789. Elle fut détruite entre 1794 et 1797.
Les premières études de ces ruines débutèrent seulement en 187O par l'archéologue Auguste Castan. A l'origine Auguste Castan était un bibliotéquaire et a identifié les ruines avec les seules notions archéologiques de l'époque, c'est à dire du XIXème. Des fouilles permirent de découvrir huit colonnes corinthiennes (remontées depuis), les vestiges du bassin de distribution des eaux de l'aqueduc d'Arcier (petite localité située à 15 kilomètres) qui approvisionnait la cité à l'époque romaine,et d'un hémicycle d'un diamètre intérieur d'environ 54 mètres. A l'époque, Auguste Castan a associé ces ruines comment étant celles du théâtre romain de l'antique Vesontio. En effet on peut constater une restitution des bâtiments qui reflètent bien les recherches mises à jour à cette époque :
En 1870, un jardin archéologique à l'anglaise est aménagé afin d'agrémenter l'ensemble des vestiges et de les mettre plus en valeur. Conçu par l'architecte Alfred Ducat et du paysagiste Brice Michel, il est ouvert au public depuis 1874. En 1898, il prend le nom d'Auguste Castan. Des travaux entre 2004 et 2006 permirent de lui redonner son aspect d'origine. Ce jardin donne un côté romantique au square.