
Obowiązkiem każdej Gminy Żydowskiej było zapewnienie swym zmarłym należytego pochówku, dlatego też zakładano cmentarze niejednokrotnie wcześniej niż synagogi. Decyzja o budowie cmentarza w Jarosławiu zapadła podczas sejmu żydowskiego w 1700 roku. Żydzi jarosławscy założyli cmentarz poza miastem, pięć kilometrów od centrum w kierunku północnym, w dzielnicy Jarosławia – Kruhel Pawłosiowski. Grunt nabyli od proboszcza jarosławskiego, późniejszego biskupa płockiego, Marcina Załuskiego. Nadzór nad cmentarzem sprawowało bractwo pogrzebowe „Chewra Kadisza’. W Jarosławiu było to najstarsze towarzystwo żydowskie. Obszar cmentarza to nieco ponad dwa hektary (dokładnie 2,02 ha), który było otoczony murem. Cmentarz posiadał dom pogrzebowy i studnię rytualną z 1741 roku. Wiosną 1941 roku cmentarz został zniszczony przez Niemców. Marmurowe pomniki ze względu na ich wartość wywieziono do Niemiec. Macewami wybrukowano pace i ulice. Z zachowanych około trzydziestu macew, najstarsze pochodzą z lat 1896 – 1899. We wschodniej części cmentarza został odbudowany po zniszczeniu przez Niemców Ohel z tablicą nad wejściem informującą, że jest to namiot wielkiego rabina Szymona Rubinfelda. Fundatorem był jego wnuk z Kanady. Odsłonięciu towarzyszyło kilkudziesięciu młodych Żydów a Montrealu, uczestników „Marszu żywych” do Oświęcimia.
Jest to najstarszy, choć nieczynny cmentarz ze wszystkich cmentarzy w Jarosławiu. Obecnie od 2004 roku cmentarz jest własnością Fundacji Ochrony Dziedzictwa Żydowskiego w Warszawie.