Muzeum mieści się we dworze, w którym u dziadków ze strony matki wychowywał się Józef Ignacy Kraszewski. Romanów to dawna posiadłość Sapiehów, wchodząca w skład klucza wisznickiego. W 1802 roku majątek nabyli Anna i Błażej Malscy. W latach 1806-1812, rozebrawszy stojący tu dwór drewniany, postawili na jego piwnicach ze sklepieniami krzyżowo-kolebkowymi dom nowy – murowany, klasycystyczny, z czterospadowym dachem krytym gontem i czterokolumnowym gankiem od strony frontowej i zapewne podobnym od ogrodu. Do dworu wiodła półkolista droga wznosząca się przed samym budynkiem i ograniczona tu wysokim murem. Przyszły pisarz wychował się właśnie w tym, parterowym domu, do którego przybył we wczesnym dzieciństwie. Dziadkowie opiekowali się nim do 15 roku życia, pilnując także edukacji wnuka – najpierw w Białej Podlaskiej, potem w Lublinie. Odszedł stąd w 1827 roku i wracał do tego miejsca już tylko jako gość odwiedzający swój „raj utracony” i tęskniący za nim na wszystkich ścieżkach życia. W liście do ojca napisał: „Choć los daleko mnie odpędził, serce moje tam zostało i chodzi po starej ścieżce od domu do kaplicy, od kaplicy do oficyn i po szumiącej alei jodłowej. Nie widzicie go tam, ale jakże często z piersi mi ucieka i włóczy się koło Was”. Opisał to miejsce w „Obrazach z życia i podróży”, „Ze wspomnień” i w „Nocach bezsennych”.
Dziś dwór ma w swych zasadniczych cechach kształt z II połowy XIX wieku, z czasów, gdy po dziadku Malskim i ojcu Janie Kraszewskim objął majątek Kajetan – najmłodszy brat pisarza. W czasie remontu, koniecznego ze względu na pożar, który strawił dach w 1858 roku, nowy właściciel dobudował w części środkowej piętro, zagospodarował poddasze, ganek frontowy zastąpił portykiem z czterema doryckimi kolumnami. Od strony parku powstał półkolisty, kolumnowy taras dźwigający balkon. Rok 1915 przyniósł następny pożar, który na szczęście nie wyrządził zbyt wielu szkód. Przy remoncie ostatni właściciele – wnuczka Kajetana, Paulina Rościszewska z mężem, zlikwidowali jednak rampę przy podjeździe, zastąpiwszy ją szerokimi schodami. Wystawiony na sprzedaż i opuszczony przez właścicieli dwór spłonął w sierpniu 1943 roku, podpalony przez oddział radzieckiej partyzantki. W 1946 roku upaństwowiono sześciohektarowy park i ruiny domu. Na teren parku wprowadziło się leśnictwo. W 1958 roku Wojewódzka Rada Narodowa w Lublinie podjęła decyzję o utworzeniu w Romanowie muzeum autora „Starej baśni”. Odbudowa ruin dworu trwała do 1962 roku i 28 lipca tegoż roku muzeum otwarto. Kolejny etap prac remontowych, trwających w latach 1987-1991, przywrócił przed dworem podjazd z rampą, od strony ogrodowej taras z balkonem i historyczny układ salonu.
Pięćdziesięciolecie muzeum, obchodzone od 28 lipca 2012 roku do 28 lipca 2013 roku, dwór świętuje w nowej szacie. W ramach projektu realizowanego w Programie Operacyjnym Województwa Lubelskiego na lata 2007-2013 pod nazwa „Restauracja zespołu dworsko-parkowego w Romanowie będącego siedzibą Muzeum Józefa Ignacego Kraszewskiego” przeprowadzono prace, które przywróciły właściwy kształt dachu, zlikwidowały dwie lukarny na poddaszu od frontu i nadmiar kominów a przede wszystkim przywróciły poszycie z gontu. Na kalenicy dworu , miedzy kominami pojawiła się platforma – nawiązująca do tej istniejącej tu za czasów Kajetana Kraszewskiego, z której ten astronom-amator obserwował niebo.
Dwór odzyskał swój niepowtarzalny kształt i charakter z II połowy XIX wieku, kiedy to znany był jako kraj lat dziecięcych wielkiego Józefa Ignacego Kraszewskiego oraz jako miejsce, gdzie Kajetan Kraszewski zgromadził niezwykle interesującą kolekcję dzieł sztuki – w tym 80 portretów wielkich ludzi z dziejów Polski i wielką bibliotekę, w której miał między innymi komplet wydań dzieł brata Józefa Ignacego.