Als Verbannungsort des französischen Kaisers beherbergte Elba Napoleon für etwa 10 Monate, vom 3. Mai 1814 bis zum 26. Februar 1815. Während seines Aufenthalts auf der Insel hatte Napoleon zwei Residenzen:

Villa dei Mulini: Sie liegt im oberen Teil des historischen Zentrums von Portoferraio auf der Klippe oberhalb des Strandes delle Viste, etwa auf halber Strecke zwischen Forte Falcone und Forte Stella. Ihren Namen verdankt sie einigen Windmühlen, die bereits vor Napoleons Ankunft vorhanden waren. Die Villa war ein Gebäude aus dem 18. Jahrhundert, das angepasst und in eine kaiserliche Residenz umgewandelt wurde.

Villa di San Martino: Sie liegt am Stadtrand von Portoferraio, wurde vom Kaiser erworben und durch Erweiterung und Umbau eines bereits bestehenden Landhauses geschaffen. Die eigentliche Villa ist klein und schlicht und darf nicht mit der Galleria Demidoff verwechselt werden, die einige Jahrzehnte später auf Wunsch von Fürst Anatolio Demidoff erbaut wurde.