[[Fájl:Vacipuspokipalota.JPG|jobbra|bélyegkép|360px|A püspöki palota (jobbra) és az egyházmegyei könyvtár és levéltár (balra) látképe a Konstantin tér felől]]
A püspöki székház az [[Árpád-kor]]ban a várbeli székesegyház előtt (a mai ferences templom helyének közelében) állt a székesegyházi iskolával és a kanonokok lakásaival együtt. A püspökök 500 éven át lakták. [[Sajbán kán]] tatárjai felégették. [[Báthori Miklós (váci püspök)|Báthori Miklós]], Vác [[humanizmus|humanista]] püspöke ([[1474]]-–[[1506]]) 30 évig lakta. A török uralom alatt a vár parancsnokainak szálláshelye volt. A felszabaduláskor rommá lett.
A második püspöki palota a mai Március 15. téren lévő Siketnéma Intézet középkori eredetű északi szárnyából épült ki. [[Kéry János]] ([[1681]]-–[[1685]]), [[Balogh Miklós (püspök)|Balogh Miklós]] ([[1685]]-–[[1689]]) után [[Dwornikowich Mihály]] ([[1689]]-–[[1705]]) és [[Kollonics Zsigmond]] ([[1708]]-–[[1716]]) püspök 8-8 éven át lakta az épületet. [[Althan Frigyes]] püspök ([[1718]]-–[[1734]]) új székház építését határozta el az egykori várfalak északi tövében. Az elkészült kettős pince fölé 50 év múlva Migazzi Kristóf püspök, [[bíboros]] ([[1756]]-–[[1757]], [[1762]]-–[[1786]]) építtette fel a palotát [[Meissl Frigyes]] [[bécs]]i építész tervei szerint ([[1762]]-–[[1771]]) váci iparosok munkájával. Berendezéséről [[Splényi Ferenc]] püspök ([[1787]]-[[1795]]) számbavételezése (1787) tájékoztat. Eredetileg [[Eszterházy Károly]] püspök ([[1759]]-–[[1762]]) nagyvonalú elgondolása szerint F.[[Franz A.Anton [[Pilgram]] osztrák építész főhomlokzatával a székesegyházra néző palotát tervezett.
A jelenlegi székház homlokzata keleti helyett déli fekvésű, hogy a termeket beragyogja a napfény. A székesegyház terére az egyik oldalhomlokzata fordul, folytatásában a kert Migazzi-címeres díszkapujával. Berendezését gróf [[Csáky Károly Emmánuel]] püspök ([[1900]]-–[[1919]]) tovább gazdagította. [[1951]]-től a II. emeleten és az I. emelet felében öregidős szerzetesnővérek szociális otthona volt. [[Keszthelyi Ferenc]] püspök ([[1992]]-–[[2003]]) a palota belső terének eredeti kialakítását helyreállíttatta. [[2004]]-ben a [[Borromei Szent Károlyról nevezett Hittudományi Főiskola és Szeminárium|papi szeminárium]] átköltözött ide a Konstantin téri épületből.