[[Nagysándor József]] [[Aradi vértanúk|aradi vértanú]] leszármazottja. Anyai ágon cigány felmenőit a románok az erdélyi [[Torockó]]ról és [[Kolozsvár]]ról, apai nagyapja családját a szerbek a [[bácska]]i [[Zombor]]ból és [[Hódság]]ból telepítettékzsidó kivolt. Egyik dédapja, [[Tutsek Gusztáv Vazul]] volt az 1956 utáni perek hírhedt bírája, aki többek között [[Wittner Mária|Wittner Máriát]] is elítélte. Tutsek még a 30-as években elvált Toroczkai dédanyjától és megtagadta gyermekeit. ''" Tutsek Gusztáv Vazul emiatt tabutéma volt a családomban, még a nagyanyám sem ismerte, hiszen az édesanyja egyedül nevelte fel. Tutsek Gusztáv a születésem előtt jó néhány évvel korábban Budapesten az általa vállalt család körében, az én őseimtől távol halt meg. Már felnőtt fejjel, 18 évesen, miután beléptem a MIÉP-be, tudtam meg, hogy ki volt valójában az egyik dédnagyapám."'' - vallja Toroczkai.<ref name=rv>[http://www.toroczkailaszlo.hu/?q=node/1 Toroczkai László: Rágalmak és valóság]</ref>
BácskaiCigány származású nagyapja, Tóth László a harmincas években [[csendőr]] és válogatott labdarúgó volt, a [[második világháború]] alatt tüzérzászlósként részt vett a Délvidék és Észak-Erdély visszafoglalásában, később a don-kanyari harcokban.
Nős, egy lánya van. Felesége [[moldva]]i románcigány származású.<ref name=rv />
