I brev av 22. januar 1735 ga grev Ferdinand Anton Danneskiold-Laurvig ordre om å bygge et hospital ved siden av kirken på Tollerodden i Larvik. Hospitalet skulle være bosted for fattige ”lemmer” og hadde 8 plasser som det kunne søkes om opptak til. Hospitalsbygningen sto ferdig året etter, trolig i anledning reformasjonens 200-års jubileum. Hospitalet er fortsatt i virksomhet, og er således en av de eldste eksisterende sosiale institusjoner i landet. Hospitalet var opprinnelig en liten trebygning i én etasje. I 1755 godkjente den nye greven, Fredrik Ludvig Danneskiold-Laurvig, en utvidelse av hospitalet. I den forbindelse ble trebygningen erstattet av en ny bygning i stein som ble tatt i bruk i 1760. Denne bygningen er i dag et fredet kulturminne. Ved utvidelsen ble hospitalet delt i en grevelig stiftelse og en stiftelse for enkedronning Anne Sophie, som hadde opprettet et fond til fordel for hospitalet. Stiftelsene hadde felles styre og administrasjon. Totalt fikk hospitalet nå 21 beboere, fordelt på 12 ved den grevelige stiftelse og 9 ved dronning Anne Sophies stiftelse. De som kvalifiserte til opptak var først og fremst tidligere arbeidere ved grevens næringsvirksomheter, slik som Fritzøe verk. Ut over dette var det mulig for andre nødlidende personer fra Larvik grevskap å søke om opptak. Etter at grevskapet ble avviklet i 1821 fortsatte hospitalet sin virksomhet som en selvstendig institusjon. Fra midten av 1800-tallet ble opptakskriteriene endret til kun å ta opp kvinnelige lemmer. Fra 1834 ble det skilt mellom friplasser og betalingsplasser. Hospitalet hadde fortsatt nær tilknytning til Fritzøe verk, og friplassene var forbeholdt personer som kunne vise til tjeneste i tilknytning til verket. Den økonomiske driften av hospitalet ble stadig tyngre utover på 1960-tallet. Kommunen måtte stadig bevilge penger for å holde driften i gang, og siden 1974 har hospitalet blitt drevet av Larvik kommune. I dag er bygningen fra 1760 innredet med 12 trygdeleiligheter for eldre, drevet av Stiftelsen Larvik hospital med økonomisk støtte fra kommunen.