Fino a qualche decennio fa importante centro minerario che ha ancora ben visibili le strutture di ingresso ai pozzi, Gavorrano sorge su un fianco del Monte Calvo e deve il suo nome proprio alla denominazione con la quale questo luogo era anticamente indicato, "Caput Boreanum".
Nel XIII secolo il castello passò ai conti Pannocchieschi e nel 1278 fu eletto Podestà il conte Paganello Inghiramo dei Pannocchieschi, detto familiarmente Nello, signore del Castello della Pietra (a pochi Km da Gavorrano). Nello fu marito in seconde nozze e, forse, assassino della senese Pia de' Tolomei, la quale trovò la morte nel Castello della Pietra, ed è ricordata da Dante Alighieri nel "Canto V" del Purgatorio
("Siena mi fe', disfecemi Maremma"). Il Castello della Pietra, teatro del dramma, sorgeva in una zona impervia: palude e macchia mediterranea rendevano questo luogo ostile all'insediamento umano. Restano soltanto dei ruderi fra i quali si individuano grandi pietre calcaree squadrate, una torre esposta ad Est e mura perimetrali ad Ovest e a Sud. Il paese fu conteso fra Massetani e Senesi finché nell'anno 1335 Massa cadde sotto la Repubblica Senese e Gavorrano ne seguì le sorti. Del castello di Gavorrano sono ancora oggi riconoscibili le mura, di forma ellittica, intervallate da torri quadrate. All'interno delle rnura molti sono gli edifici medievali di valore come quelli che si trovano lungo la via Pannocchieschi, ai cui lati è possibile riconoscere costruzioni che conservano ancora le loro strutture originarie. Interessante è la "nuova" chiesa parrocchiale, costruita alla fine del '700, in cui si conserva una pregevole scultura in marmo, rappresentante la Madonna col Bambino, scolpita da Giovanni d'Agostino, ultimo dei grandi scultori senesi del '300, capomastro del Duomo di Siena e di Arezzo. Da segnalare una piccola tela settecentesca
(L'Annunciazione) ed un dipinto del XVIII secolo (Battesimo di Cristo).