Porto Azzurro ligt in een beschermde baai van de Golf van Mola en werd al sinds de oudheid gebruikt als natuurlijke haven in de Tyrrheense zeeroutes.
Vroeger stond het bekend als Portolongone en kreeg het zijn huidige naam in 1947 van de gemeente, om het een meer toeristische uitstraling te geven.
Het stadje ligt aan de voet van de heuvel met het fort van San Giacomo, gebouwd door Filips III van Spanje in 1602 met een stervormige plattegrond, vergelijkbaar met het kasteel van Antwerpen. Eeuwenlang geteisterd door de Saracenen, was Portolongone in handen van de Fransen, Spanjaarden en Duitsers, betwist door de grote Europese mogendheden tot 1802, toen het hele eiland deel ging uitmaken van het Franse grondgebied.
Het kleine centrum heeft een schilderachtig karakter, met oplopende straatjes, kleine stenen gevels, sfeervolle hoekjes en een groot plein dat weerspiegelt in het water van de haven.
Belangrijk om te bezoeken is het Santuario della Madonna del Monserrato, gebouwd in de 17e eeuw door de Spaanse gouverneur Pons Y Leòn, die een replica van het beroemde heiligdom bij Barcelona op Elba wilde bouwen. Het beeld van de Maagd, bewaard in het heiligdom, wordt beschouwd als een perfecte kopie van dat in het gelijknamige heiligdom in Spanje.
Ook de buitenstructuur van Fort San Giacomo, tegenwoordig een gevangenis, is een bezoek waard.
Vanuit Porto Azzurro worden de Carmignani Promenade en excursies naar het Laghetto di Terranera en het Santuario della Madonna del Monserrato aanbevolen.
Marktdag: zaterdagochtend.