平治之亂中源義朝戰敗被殺後，他的妻子常盤御前帶著今若、乙若、牛若三個幼子，在雪中逃往大和國。然而聽說自己的母親被捕，常盤便親自到六波羅自首，向平清盛乞求饒過孩子們的性命。清盛被常盤的美貌打動，以讓孩子們出家為條件，饒了他們的命。
最小的牛若七歲時，被寄養在京都北邊的鞍馬寺，在東光坊阿闍梨門下勤奮學習。牛若聰明，白天讀經，專心於學問，連師父們都很佩服。
然而，十一歲左右，得知自己是源氏嫡流義朝之子後，牛若的心變了。他開始想：「無論如何要消滅平家，完成父親的遺願。」白天假裝做學問，到了夜裡就偷偷溜出寺院，前往鞍馬深處的僧正谷，獨自勤練武藝。
僧正谷從前住著許多僧人，如今已經荒廢，是傳說有天狗居住的可怕地方。牛若在那裡把樹木當作平家一門，把大樹叫作清盛，小樹叫作重盛，拔刀砍去。後世的人們傳說，牛若從鞍馬山的大天狗（鞍馬天狗）那裡得到了兵法的傳授。
十六歲時，牛若遇到奧州的黃金商人金賣吉次，決心去投靠奧州平泉的藤原秀衡。牛若偷偷溜出鞍馬寺，由吉次陪同前往東國。途中在近江國的鏡宿，自己舉行元服禮，自稱源九郎義經。
鞍馬山至今仍留有相傳義經修行過的「比身高石」、「樹根道」和「義經堂」等。