Livet för en vaktmästare från Boston förändras för alltid då han återvänder till sin hemstad för att ta hand om sin tonårige brorson. När hans äldre bror Joe (Kyle Chandler) går bort får Lee Chandler (Casey Affleck) veta att hans bror utsett honom till ende förmyndare för sin son (Lucas Hedges). Lee tar tjänstledigt och återvänder motvilligt till hemstaden Manchester-by-the-Sea för att ta hand om Patrick, en livlig 16-åring. Väl hemma påminns han om det förflutna som tvingade honom att bryta upp med sin fru (Michelle Williams) och det samhälle där han fötts och vuxit upp. Stärkta av det gemensamma minnet av mannen som höll deras familj samman, tvingas Lee och Patrick kämpa för att anpassa sig en värld utan honom