À la fin du VIIe siècle, ou plus probablement au VIIIe siècle, un processus de déclin significatif de l’espace urbain est attesté par l’archéologie, seules subsistant les traces ténues d’une construction rudimentaire en lieu et place de la demeure épiscopale. Ce déclin peut être justifié par le repli de la population dans l’emprise d’une enceinte sur la butte des Carmes, le château Babon. La date de construction de ce castrum est toutefois incertaine : elle est attribuée à l’évêque éponyme qui siégea à Marseille à la fin du VIIe siècle mais n’est mentionnée dans les textes qu’à partir de 1164.