Á fjallaveginum yfir Kaldadal lést Jón Vídalín biskup og þangað á hinn dauðadæmdi Skúli að hafa flúið á hestinum Sörla. Þá hefur dalurinn orðið mörgum skáldum yrkisefni í gegnum tíðina.
Á Kaldadal er Skúlaskeið þar sem þjóðsagan um Skúla á að hafa gerst, sem var dæmdur til dauða á Alþingi en náði að flýja. Það varð æsilegur eltingaleikur um hrjóstugan dalinn sem varð Grími Thomsyni yrkisefni í einu af hans karlmannlegu kvæðum. Í kvæðinu segir að Skúli hafi verið eltur á „átta hófa hreinum“, en Skúli nær að komast undan, þó í lok kvæðisins sé hesturinn Sörli uppgefinn og springi loks.
Kaldidalur er vegur sem liggur milli Þórisjökuls og Oks, leið frá Suðurlandi upp í Borgarfjörð. Kaldidalur er ekki langur, það er stundum sagt að hann sé íslenska hálendið fyrir byrjendur. Þar var lagður akvegur á millistríðsárunum og á tíma Alþingishátíðarinnar á Þingvöllum var mikil umferð þar yfir, en þegar vegur var lagður um Hvalfjörð lögðust ferðirnar nær af. Hannes Hafstein orti ljóð um Kaldadal þar sem kallað er eftir stormi.
Sunnarlega á Kaldadalsleiðinni eru Hallbjarnarvörður. Í Landnámu segir frá Hallbirni Oddsyni sem verður svo ósáttur við Hallgerði konu sína að hann greip í hár hennar og hjó af henni höfuðið. Hallbjörn var þess vegna eltur uppi og drepinn við vörðurnar sem nú eru kenndar við hann. Biskupinn Jón Vídalín andaðist í Biskupsbrekku árið 1720. Hann er höfundur Vídalínspostillu og sá klerkur á Íslandi sem hefur látið rigna mestum eldi og brennisteini í ræðum sínum.
Jón Vídalín var á leiðinni frá Skálholti vestur á Snæfellsnes þegar hann tók snögga sótt og dó. Það er til vísa eftir hann þar sem hann segist kvíða því að fara Kaldadal, en Þorsteinn frá Hamri tók þessa vísu og notaði í eigið kvæði um dauða Jóns. Kaldidalur kemur líka við sögu í Vefaranum mikla frá Kasmír eftir Halldór Laxness, þegar aðalpersónan Steinn Elliði finnur þar jurt sem hann notar til að hreinsa pípuna sína.