Den bygning, der i dag huser Otterup Museum, startede sit liv i 1722 som hospital (aftægtsbolig – ikke at forveksle med sygehus). Siden har bygningen fungeret som fattiggård og fra 1925 til 1958 som byens bibliotek.