La butte témoin de Laon, où s’est implantée la cité ancienne, domine d’une centaine de mètres la plaine environnante. La topographie de cette ville en fait un site défensif exceptionnel.
Laon se situe à quatre kilomètres environ de la voie romaine Reims - Arras. L’époque gallo-romaine est partout présente dans la ville haute, qu’il s’agisse du Haut comme du Bas Empire. A la fin de cette période, il semble que le castrum ait été fortifié. L’occupation semble plus dense dans la Cité, à l’intérieur des murs, que dans le Bourg. Dans la ville basse, plusieurs sites gallo-romains sont attestés, dont une nécropole à incinérations et à inhumations. Entre 497 et 511, saint Remi élève Laon à la dignité de cité par la création d'un évêché démembré de celui de Reims, la ville se confondant encore probablement avec le castrum du Bas Empire. Le tracé des remparts de la Cité, reconstruits ou agrandis à l’époque carolingienne, est totalement inconnu.
En dehors des murs de la Cité, à l’ouest, le peuplement se développe dans le secteur de l’église Saint-Julien. Dans une zone occupée jusqu’au IVe mais désertée au Ve s se trouvait un très vaste cimetière mérovingien implanté sur une pente dominant l’enceinte antique. Il contenait entre 1 200 et 2 800 sépultures placées côte à côte et formant des rangées disposées en éventail. L'absence de dépôts funéraires et la découverte d'une pierre funéraire paléochrétienne font supposer qu’il s'agit d'un cimetière chrétien. Légèrement antérieur ou contemporain de la fondation de l'évêché, il a dû, par sa localisation, gêner l’expansion de la ville et, au VIIe ou au VIIIe siècle, aurait été transféré à Saint-Vincent.
Au Xe siècle, au pouvoir épiscopal s’ajoute le pouvoir royal, Laon étant un lieu de résidence fréquent des derniers rois carolingiens. Vers 945, Louis IV fait édifier une tour pour fortifier la domusregiae. Il existe à l’époque mérovingienne un atelier royal de frappe monétaire à Laon. La Cité renferme la cathédrale, reconstruite dans le premier tiers du IXe siècle, la résidence de l’évêque et le cloître des chanoines au nord, et, au sud, le palais royal et l’abbaye Notre-Dame (abbaye Sainte-Marie-Saint-Jean), fondée hors les murs en 648 par sainte Salaberge. La seule église de la Cité, mentionnée avant la fin du Xe siècle, est l’église Sainte-Geneviève. La collégiale Saint-Corneil et Saint-Cyprien, reconstruite et probablement déplacée dans la seconde moitié du XIIIe siècle, serait une fondation carolingienne, comme le premier Hôtel-Dieu érigé à proximité du palais royal. La majorité des églises de la Cité remonte cependant peut-être à la fin du haut Moyen Âge. Dans le Bourg, les fouilles de la rue Saint-Martin ont mis au jour des vestiges d’artisanat de cette époque. Dès les dernières années du XIe siècle, Laon connaît un développement très important, et, vers le milieu du XIIIe siècle, la ville abrite une population d’au moins 10.000 habitants, dont les deux tiers environ occupent la ville haute.