Ludlowt a 11. században alapították, amikor megépült a város felé emelkedő dombon vára (Ludlow Castle), melynek romjai ma is láthatók. A városról a [[Domesday Book]] is említést tesz. A középkor során a várban székelt a Walesiwalesi és mocsárvidéki tanács valamint több walesi hercegnek volt otthona. A város falai 1233-ban épültek fel és a 15. századtól kezdődően vásártartási jogot is kapott (minden hét csütörtökén). A vidék egyik legfontosabb gyapjú- és kelmekereskedő központja volt. A kastélyvár leghíresebb lakója Aragóniai Katalin volt (VIII. Henrik első felesége) és lánya Tudor Mária. Az 1640-es évektől kezdődően, a gyapjúkereskedelem visszaesésének köszönhetően a város hanyatlásnak indult, amit tetőzött a Walesi tanács kiköltöztetése is. A város az 1760-as évektől kezdődően indult ismét fejlődésnek. A kastélyvár jelenleg is magántulajdonban van, színielőadások, különféle programok helyszíne. A város fekvésének köszönhetően (számtalan út találkozási pontja miatt) jelentős kereskedelmi központ, gyakori vásárokkal, amelyek a mai napig is a főtéren zajlanak (Castle square).
