A fellegvárat védő völgyzárófalak, valamint az egykori országutat védő kapuk és a nagy [[lakótorony]] a 13. század közepén épültek fel. Az alsóvár a fellegvárral egységes védelmi rendszert képezett. [[I. Károly magyar király|Károly Róbert]] korában a hatszögletű lakótornyát átépítve királyi szálláshellyé alakították. A torony köré ekkor épült ki a belső várfalöv. Miután [[1490|1490-től]] a fellegvár a [[Magyar Királyi Koronaőrség|koronaőrség]] kezére került, az alsóvár a királyi várnagy felügyelete alatt maradt, a lakótornyot ekkor raktárnak használták. [[1540|1540-ben]][[I. Ferdinánd magyar király|I. Ferdinánd]] katonái rombolták le a lakótorony déli sarkát. A török hódítás után a török település az alsóvár falai közé költözött. A török háborúk után elhagyatott várrom feltárását Viktorin József kezdeményezésére 1871-ben Henszlmann Imre kezdte meg. A lakótorony helyreállítását Schulek Frigyes tervezte. Pénzhiány miatt a munka hamar félbeszakadt és csak az 1920-as években folytatódott. A torony mai formáját az 1959 és 1964 között Sedlmayr János tervei szerint végzett modernista helyreállítás során kapta. Ma a lakótoronyban a Mátyás Király Múzeum kiállításai láthatóak, a visegrádi királyi palota gótikus díszkútja, Mátyás király visegrádi szobrászműhelye és Visegrád története
