Szülei Grünn Dániel vasúti hivatalnok és Fallyár Anna. Felesége, Weigl Mária (1880-19691880–1969)<ref> {{CitPer|szerző=Csapodiné Gárdonyi Klára |cím=GÁRDONYI ALBERT (1874-1946) Budapest székesfőváros főlevéltárnokának irathagyatéka és nyomtatásban megjelent műveinek bibliográfiája |alcím= |periodika=[[Tanulmányok Budapest Múltjából]] |év=1991 |hónap= |nap= |oldal=264 |évfolyam= |szám=32 }}</ref> zongoratanár a budapesti Zeneakadémián Bartók Béla évfolyamtársa volt a Liszt-tanítvány Thomán István osztályában. Gyermekeik: [[Gárdonyi Zoltán (zeneszerző)|Gárdonyi Zoltán]] (1906–1986) zeneszerző, zenetudós és [[Csapodiné Gárdonyi Klára]] (1911–1993) irodalomtörténész.
