A bujkáló bonapartisták nem egyszer titkon csatlakozásra szólították fel, hogy velük együtt foglalja vissza a francia trónt és állítsa vissza a napóleoni dicsfényt, ő ezt egészen egyszerű határozottsággal elutasította. Talán épp ők hintették el II. Napóleon elbutításáról szóló mendemondát, de vélhetően az ifjú inkább kötődött anyjához és annak családjához, sem pedig a franciákhoz.
Élete utolsó éveiben sokat betegeskedett, [[Bad Ischl]]-ben gyógykezelték. Bécsben az a pletyka kapott lábra, hogy az ugyanitt időző [[Zsófia Friderika bajor királyi hercegnő|Zsófia főhercegné]] (1805–1872) első két fiának, [[I. Ferenc József magyar király|Ferenc József]] főhercegnek (1830–1916), a későbbi [[Osztrák császárok listája|osztrák császárnak]] és [[I. Miksa mexikói császár|Ferdinánd Miksa főhercegnek]] (1832–1867), a későbbi I. Miksa [[mexikó]]i császárnak valódi édesapja esetleg nem is a főhercegné férje, [[Habsburg–Lotaringiai Ferenc Károly főherceg|Ferenc Károly főherceg]] (1802–1878) lett volna, hanem inkább az ifjú Napóleon Ferenc József reichstadti herceg (más híresztelések szerint [[V. Gusztáv svéd király|Vasa Gusztáv svéd királyi herceg]]). E pletykát alátámasztani látszik, hogy sem Ferenc József, sem legidősebb öccse, Miksa arcvonásai nem hordozzák a [[Habsburg-család|Habsburgok]] tipikus jellegzetességeit, például a duzzadt alsóajkat).{{forr}}
