Édesapja a régi olasz nemesi családból származó [[Adam Albert von Neipperg]] gróf (1775–1829) osztrák császári tábornok volt, Mária Lujza hercegnő főistállómeste, a [[Parma|Parmában]] állomásozó osztrák császári erők főparancsnoka.
Wilhelm Albrecht és nővére, Albertina[[Albertine von Montenuovo|Albertine Maria]] (1817–1867) szüleik 1816 óta tartó, házasságon kívüli viszonyából születtek. Születésük után egy Dr. Rossi nevű orvos családjához adták ki őket ki nevelésre, létezésüket 1822-ig titokban tartották. Mária Lujza férje, a száműzött [[I. Napóleon francia császár|Napóleon császár]] [[1821]]. [[május 5.|május 5]]-én hunyt el, Wilhelm Albrecht három hónappal ezután született. A megözvegyült Mária Lujza hercegnő néhányröviddel hónappalfia későbbszületése után, [[szeptember 7.|szeptember 7]]-én rangon aluli [[morganatikus házasság|''(morganatikus)'' házasságot]] kötött gyermekei apjával, Neipperg gróffal. Wilhelm Albrecht és nővére ezt követően viselhették a ''von Neipperg'' grófi (grófnői) rangot.
