Louis Ellison és Serita Rosenthal második gyermekeként született 1934-ben. Testvére, Beverly 1928-ban látta meg a napvilágot. A környékAz egyetlen zsidó családjacsalád voltakvolt a környéken, ígyezért gyerekkorában sok megaláztatást kellett elviselnie. Harlan tizenhárom éves korában megszökött otthonról, és egy utazócirkuszhoz csatlakozott. A következő hat évben volt favágó, halász, színész, sőt még dinamitszállító teherautó vezetője is. Később az [[Ohiói Egyetem]] hallgatója lett, amit ott kellett hagynia, – mert megütötte egy tanárát, aki (azt mondta róla, hogy tehetségtelen) –, [[New York]]-ba költözött, hogy író legyen. Besorozták és a seregben fejezte be első regényét, a ''Web of the City''-t.
