[Édesapja [[Klette Károly]] von Klettenburg (1793–[[1874]]) [[drezda]]i születésű festőművész volt, testvére: [[Keleti Károly]] (1833–1892) statisztikus, fia [[Kelety Gábor]] festő, édesanyja Beyer Johanna volt.<ref name="gusztavszuletett">{{Cite web|url=https://familysearch.org/ark:/61903/1:1:KZYX-13S|title=familysearch.org Kelety Gusztáv keresztelődésének az adatlapja}}</ref> [Jogász]]nak tanult, nevelője volt [[Eötvös József (író)|Eötvös József]] [[báró]] fiának, [[Eötvös Loránd]]nak, ahova a jogi tanulmányai alatti oktatója, [[Pauler Tivadar]] ajánlotta. Az Eötvös-családdal igen szoros és jó kapcsolatot épített ki, a báró művészeti tanácsadója lett, ez meghatározta későbbi művészpolitikai pályafutását is.
Jogi tanulmányait megszakítva festészettel kezdett el foglalkozni, [[München]]ben Fischbach, Voltz és Schleith tanároknál, majd [[Bécs]]ben sajátította el a festészet alapjait, tanítványa volt [[Hollósy Simon]]nak és [[Liezen-Mayer Sándor]]nak.
