Schildkraut Ausztriában, Bécsben született, Erna (leánykori nevén: Weinstein) és Rudolph Schildkraut színpadi (és később film) színész közös gyermekeként. Családja zsidó származású volt.
4 éves korában a családjával Németországba, Hamburgba költözött. Ott zongorázni és hegedűlni tanult. Hat éves korában került először színpadra (az apjával). Majd a család Berlinbe költözött, ahol apja szoros kapcsolatba került a híres színházi rendezővel, [[Max Reinhardt]]tal. Az ifjú Schildkraut az 1900-as évek elején, miután elvégezte a berlini Zeneakadémiát, családjával az Egyesült Államokba költözött és New York-ban telepedtek le. Míg apja a New York-i Yiddish Theater-ben játszott, addig Joseph felvételt nyert az [[American Academy of Dramatic Arts]]-ba. Számos Broadway-produkcióban lépett fel, ám a sikert, a [[Peer Gynt]] című színdarabban nyújtott alakítása hozta meg. 1921-ben főszerepet játszott [[Molnár Ferenc (író)|Molnár Ferenc]]: [[Liliom (színmű)|Liliom]] című darabjában, mely alapján készítette Rodgers és Hammerstein a Körhinta című zenés színdarabját. Ezután néma filmekben kezdett játszani, bár alkalmanként visszatért a színpadra. Korán sikereket ért el a filmekben, [[D. W. Griffith]] [[A két árva]] című filmjében, vagy később [[Cecil B. DeMille]] 1927-es epikus filmjében, a [[Királyok királya]] című filmben, ahol Júdást alakította. Ebben a filmben apja is szerepet kapott. 1937-ben az Akadémia [[Oscar-díj]]jal jutalmazta, legjobb férfi mellékszereplő kategóriában Alfred Dreyfus megformálására a [[Zola élete]] című filmben. Tovább gyarapította hírnevét olyan karakterek megformálásával, mint: d'Orléans herceg, az 1938-as [[Mária Antoinette]] című történelmi filmben, ahol [[Norma Shearer]] és [[Tyrone Power]] voltak a partnerei, vagy a gonosz Nicolas Fouquet karaktere, az 1939-es A Vasállarcos című filmben. De talán a legemlékezetess és legkiemelkedőbb alakítását [[Otto Frank]]-ként nyújtotta, az 1959-es [[Anna Frank naplója]] című filmben. 1953 októberétől 1954 januárjáig a Joseph Schildkraut Presents című rövid életű sorozat házigazdája és főszereplője is volt a DuMont Televíziós Hálózaton. 1963-ban a [[Emmy-díj]]-ra jelölték az [[NBC Universal|NBC]] [[Sam Benedict]] jogi drámájában nyujtott vendégszerepléséért, melynek [[Edmond O'Brien]] és [[Richard Rust]] volt a főszereplője.
