Il Borgo Medievale era circondato da mura e torri quadrate, collegate al Cassero. Di questo sistema difensivo, costruito dai Conti Aldobrandeschi nel XIII secolo, ad oggi, restano solo tre torri, notevolmente ribassate e rimaneggiate, e un tratto della cinta muraria. Dei due antichi varchi rimane solo la Porta Maremmana.
