Gróf [[Zichy Lipót]] fiaként született a család Zemplén megyei birtokán, Sztárán. Gimnáziumi tanulmányait és a jogot [[Pozsony]]ban végezte, és zenei tanulmányokat is folytatott egyetemi tanulmányai mellett. A zene tudományába a híres zeneszerző, [[MayerbergerMayrberger Károly]] vezette be, aki akkoriban a pozsonyi tanítóképző intézet zenetanára volt. Alig 14 esztendősen egy vadászbaleset során elveszítette jobb karját (saját puskája roncsolta szét jobb kezét). Elkeseredés helyett megkettőzött ambícióval valóságos zongoravirtuózzá képezte magát, „bal kézre”. 1866-ban Pozsonyban lépett fel először félkezű zongorajátékával, és nagy sikert aratott, majd 1867-ben Pesten hangversenyezett. Mint zongoraművész egész Európában ismertté vált, és a hangversenykörútjaiból befolyt jövedelmét szinte teljes egészében jótékonysági célokra fordította, valamint kulturális mecenatúrát folytatott belőle. 1878-ban [[Németország]]ban, 1879-ben [[Párizs]]ban, 1880–1890-ben [[Oroszország]]ban, [[Németország]]ban, [[Franciaország]]ban, [[Belgium]]ban, [[Ausztria|Ausztriában]], [[Románia|Romániában]], a skandináv államokban hangversenyezett.
