Prága legrégebbi hídja helyett az 1342-es árvíz során megsérült Judit híd helyére építették. A híd építése 1357-ben kezdődött IV. Károly uralkodása alatt, és 1402-ben fejeződött be.
A mai híd előtt már a 10. századból vannak írásos bizonyítékok fahídra, melyet az árvizek elmostak és a helyére épült 1170-ben egy kőhíd az úgynevezett Judit híd, melyet II. Ulászló építtetett népének és feleségéről nevezte el.
A prágai Károly híd homokkőből épült és mindkét végén hídtornyok találhatók (Óvárosi Hídtorony és a Kisoldali hídtornyok), melyek védelmi tornyokként szolgáltak a megépülésükkor. Ma látogatható galériákat és csodás kiáltatást adnak.
A hidat csak 1870 óta hívják Károly hídnak (Karlův most) előtte Kőhíd, Prágai Híd volt a neve. A híd homokkőből épült, a Károly hídon egészen 1683-tól 1928-ig 30 szobrot, szoborcsoportot helyeztek el.