U sljedećem razdoblju traje intenzivna izgradnja dvora. Godine 1507. i 1508. donose se odluke o završnim radovima. Dana 25. svibnja 1507. Malo Vijeće donosi odluku o slanju četiri miljara kupa za radove na Lopudskom dvoru. Sljedeće godine, 8. veljače 1508., odlučeno je da se ugrade sve potrebite brave, opremi stol i banak, kao i da se nabave kupe „granalee” za krov tarace spomenute palače. Na kraju se podsjeća da treba zakovati kopče za prozore gdje treba. Najveći opseg radova naveden je 9. kolovoza 1508. Ponovno se spominju kupe “granalee” kojima treba pokriti krov tarace i kućice za sluge. Zatim kip Sv. Vlaha od kamena kojega treba postaviti na njegovo mjesto, a klaka koliko treba za fugirati zid spomenute palače izvana sa istočne sjeverne strane za sagraditi potporni zid poviše palače vrtu da bi se popravilo da zemljište ne klizi nadolje i trebaju poslati zidara koji će učiniti te radove. Osim toga trebaju poslati jednu bravu za vrata dvorišta (korte) spomenute palače i dati napraviti do četiri ili pet skala sa svojim nužnim (gazištem?) za ulazak u dvorište.

Veliki potres 1667. godine prouzročio je manju štetu na dvoru. Saznajemo da je u 18. stoljeću po naredenju lopudskog kneza Vlaha Lukina Bone, koji je bio knez 1739. – 1740. bratovština svete Marije od Šunja bila dužna popraviti zid oko kneževa dvora na Lopudu. Najveća promjena dogodila se rušenjem stražarske kule. U njezinu je prizemlju bio zatvor, a iznad njega su stanovali stražari. Do danas je sačuvano prizemlje i dio prvog kata na kojem su vidljivi ostaci kamina pila (umivaonika) i klončine.

Dvadesetak godina nakon ukinuća Dubrovačke Republike dvor je u lošem stanju, što se posredno spominje u bilješkama Lorenza Vitelleschija 1827:„ Dvor na Sipanu u lošem je stanju ili prodat, isto kao onaj na Lopudu” To potvrduje austrijski katastar iz 1837. na kojem je dvor prikazan s ruševnim krovom. Na istom katastru uočavaju se i neke razlike u odnosu na današnje stanje. Južni zid kuće dvora u isto je vrijeme granica posjeda. Prerna istoku se nastavlja kao ogradni zid vrta. Prema zapadu čini ogradni zid dvorišta naslanjajući se na stražarsku kulu i zatvor u njezinom prizemlju tako da nešto više od polovice kule ostaje u dvorištu. Nakon 1888. čitav južni ogradni zid se ruši, a novi gradi nekoliko metara južnije, zaustavljajući se na jugoistočnom kutu stražarske kule, što je kasnije omogućilo otvaranje prozora na nekadašnjem zatvoru. Na taj način omogućena je komunikacija iz dvorišta prema istočnom dijelu vrta.

Nakon što je prodan, dvor je izmijenio više vlasnika. Tako je 1837. vlasnik čitavog posjeda nekadašnjeg dvora Miho Benić. Četrdeset i četiri godine kasnije, 1881. godine, dvor je u vlasništvu Đive Kuljevan. Nakon što je Društvo prijatelja dubrovačke starine 29. travnja 2019. otkupilo dvor od privatnog vlasnika, stekli su se uvjeti za njegovu obnovu. Obnova je počela u siječnju 2020., a tijekom 2023. godine je završena.

Knežev dvor na Lopudu trenutno se može obići uz prethodnu najavu.