A város alapjait Bölcs Jaroszláv vetette meg, aki 1010 körül a Kotoroszl folyó torkolatánál várat építtetett. A hagyomány szerint a fejedelem ezen a helyen ölt meg egy medvét, így került a város címerébe a szekercét tartó álló medve. A vár első írásos említése 1071-ből való. 1218-tól önálló fejedelemségi székhely, húsz évvel később a mongolok felégették, később újra feldúlták, a 14. században többször is tűzvész pusztította. 1463-ban a Moszkvai nagyfejedelemség része lett. A 16. századra a vár körül népes kereskedelmi település és több szabadfalu alakult ki. 1612-ben itt gyűjtött erőt a Moszkva felszabadítására induló népfölkelő sereg, Jaroszlavl négy hónapig gyakorlatilag főváros volt. A 17. századra a város gazdag kereskedelmi központ, a hagyományos volgai víziút és Arhangelszk – az orosz állam egyetlen tengeri kikötője – felé vezető kereskedelmi útvonal fontos állomása. Ez a század a jaroszlavli építő- és díszítőművészet aranykora volt, ekkor épült a ma is álló egyházi épületek többsége.

A 18. században jelentős átalakulás kezdődött: a kereskedelem visszaesett, de a városban megjelentek és fejlődésnek indultak a manufaktúrák, köztük az I. Péter engedélyével alapított nagy textilmanufaktúra. II. Katalin cárnő rendeletére több oroszországi városban, így Jaroszlavlban is városrendezési tervet készítettek. A század utolsó negyedétől nagyarányú építkezések folytak, a városkép fokozatosan átalakult. A város 1777-ben a tájegység közigazgatási központja, húsz évvel később a Jaroszlavli kormányzóság székhelye lett. 1803-ban megnyílt az első felsőfokú oktatási intézmény. 1825-1835 között a Volga mentén rakpart épült, 1870-ben megindult Moszkva és Jaroszlavl között a vasúti közlekedés. A 19. század legvégén a városban 57 gyár vagy üzem működött, köztük gyufa- és dohánygyár, papírgyártó manufaktúra és több textilgyár. A szovjet időszakban Jaroszlavl nagy nehézipari központtá alakult, és teherkikötője is gyorsan fejlődött, hiszen sokáig Moszkva Volga-parti kikötőjéül szolgált. A városépítésben a többi szovjet városhoz hasonlóan házgyári lakótelepek építése és ún. mikrorajonok kialakítása volt a jellemző, de a központban megőrződött az évszázadok alatt kialakult városszerkezet és a város híres templomépületeinek többsége.

Az iparnak is évszázados hagyományai vannak, de város csak a szovjet időszakban, különösen a második világháborút követően vált nagy ipari központtá. Jaroszlavlban készült az első szovjet gyártmányú nagy raksúlyú gépkocsi, az első szovjet dömper, trolibusz és dízelmotor. Főbb iparágak: kőolaj-feldolgozás, vegyipar, festékgyártás, dízel- és elektromotorok, szerszámgépek, gumiabroncsok gyártása, hajók és vasúti járművek gyártása, javítása; könnyűipar: textilipar, dohánygyár, fafeldolgozás, építőanyag- és élelmiszeripar.