La città è circondata da una cinta muraria eretta a partire già dal XIV secolo come difesa, soprattutto dalle incursioni turche nell’Adriatico. Dopo l’assalto a Porto Recanati del 5 giugno 1518 da parte di Selim I il Crudele, papa Leone X avviò rapidamente la ricostruzione completa delle mura. Il disegno fu attribuito per lungo tempo ad Antonio da Sangallo, ma recenti studi sembrano escluderlo per attribuirla invece al senese Francesco di Giorgio Martini.