Szabó Mihály református lelkész és Tószegi Zsuzsánna fia. 1833-42 között [[Debrecen]]ben tanult; ezután [[Késmárk]]ra ment jogot tanulni, és itt [[Hunfalvy Pál]] vezetése alatt különösen a görög klasszikus írók felé fordult a figyelme, azonkívül az ifjúság között alakult magyar nyelvgyakorló társaságnak is tagja volt. 1843 júniusában kitűnő sikerrel tette le jogi vizsgáit; ezután még egy évig Késmárkon joggyakornok, egy évig mint királyi táblai hites jegyző [[Pozsony]]ban volt. 1845-ben köz- és váltóügyvédi oklevelet szerzett, ügyvédi gyakorlatot azonban nem folytatott. 1846-ban Fiuméba ment azzal a szándékkal, hogy tengerész lesz és a tengerészeti tanfolyam első évfolyamát el is végezte. Ekkor veszélyes betegségbe esett és hazatért szüleihez tért vissza. Itt teljesen felépülve, 1847 tavaszán [[Toldy Ferenc]] meghívására Pestre ment és segített neki a ''Magyar Tudósok Tára'' című irodalmi vállalatábanvállalkozásábában, mely munka kéziratban maradt, valamint kritikái jelentek meg a szintén részben [[Toldy Ferenc|Toldy]] által szerkesztett ''[[Magyar Szépirodalmi Szemle|Magyar Szépirodalmi Szemlében]]''. E vállalatvállalkozás célja volt az összes magyar írók életrajzát és munkáik jegyzékét adnikiadni. 1848 vége feléig Toldynál lakott és mintegy 8 kötetnyi életrajzot írt, és a kézirat a H betűig terjedt. 1848. első felében [[Békés]] városa tiszti ügyészének választotta; de e hivatalt nem fogadta el, hanem a [[1848–49-es forradalom és szabadságharc|szabadságharc]] kitörésekor a Békés megyei önkéntes nemzetőrök (szabadcsapat) közé lépett be és a bánáti táborozás alatt több csatában vett részt, így 1849. április-májusban az aradiaradot ostromseregben;ostromló seregben a főhadnagyságig vitte fel, és néhány hónapig Okolicsny őrnagynak a segédtisztje volt. Különösen kitüntette magát [[Szenttamás (Szerbia)|Szenttamás]] ostrománál, ahol 40 nemzetőrrel lőszert szállított egy honvédszázadnak.
A szabadságharc elnyomásaleverése után egy ideig szülőföldjén húzódott meg; 1850 elején a Teleki-levéltárat rendezte és április 25-én Geringer báró, saját kérelmére, az egyetemi könyvtárhoz fizetés nélküli gyakornoknak nevezte ki. Közben Toldy Teleki József grófhoz, a ''Hunyadiak kora'' rendezéséhez ajánlotta, s 1850–551850-től 55-ig (a gróf haláláig) itt dolgozott s az ő közreműködésével jelent meg öt kötet, s a gróf halála után szintén ő rendezett a hátralévő anyagból még négy kötetet sajtó alá; mellékesen régi magyar történeti forrástanulmányokkal és kutatásokkal is foglalkozott. 1855 szeptemberében hívták meg a nagykőrösi református gimnáziumba a görög nyelv tanárának. Itt tanítottak akkor [[Arany János]], Salamon, [[Szilágyi Sándor (történész)|Szilágyi Sándor]], s ezeknek társasága történeti irányú irodalmi működésére még inkább buzdítólag hatott.
[[1858]]. december 15-én a [[Magyar Tudományos Akadémia]] levelező tagjának választotta (1871. május 17-én lett rendes tag). 1859. november 25-én az [[Erdélyi Múzeum-Egyesület]] alakító közgyűlése megválasztotta könyvtárnokává. Ekkor Kolozsvárra költözött és ettől kezdve kutatásait a régi magyar bibliográfiára is kiterjesztette. Könyvtárnoksága mellett a tanári pályával se szakított, előbb a református kollégiumban a görög nyelvet tanította, 1873-tól kezdve pedig a [[Kolozsvári Magyar Királyi Ferenc József Tudományegyetem|kolozsvári egyetemre]] a magyar történeti tanszékre nevezték ki. Az 1882–18831882–83-as tanévben az egyetem rektora is volt. Sírja a [[HázsongárdHázsongárdi temető]]i temetőbenben található.
