Borgen – Kasern och pensionat
Allén från stora vägen till gamla posthuset är historik. De äldsta träden utmed grusvägen planerades under 1750-talets första år. Här åkte Gustav III i vagn 1789, här letade sig engelska sjömän 1854 fram till värdshuset, här promenerade Evert Taube, Erik Axel Karlfeldt och prins Wilhelm i början av 1900-talet när de besökte Albert Engström.
När Sverige förlorade kriget 1809 blev Grisslehamn en hamn vid internationellt vatten, med tullstation och militärpostering. Det stora gula huset till vänster där allén börjar byggdes 1812 som kasern. 1869 lämnade militären Grisslehamn, huset blev pensionat och kom att kallas Borgen.

1906 flyttade Erland Lagerlöf till pensionatet där han översatte Odysséen och Iliaden. När vintersormen rasade låg han till sängs och arbetade, i ett iskallt rum med spräckt ruta. Samtidigt bodde den unge författaren Ludvig Nordström där. I en minnesbok har han berättat om Lagerlöfs liv i Grisslehamn.
Grisslehamns invånare gjorde tjänster och sålde fisk till de berömda besökarna, men umgicks inte med dem. Gestalterna i Kärlek och krig är småbrukare och fiskare, de lever på samma sätt.
I Borgen hölls det även gudstjänster innan kapellet var byggt.