平治の乱で源義朝が敗れて殺された後、その妻の常盤御前は、今若、乙若、牛若の三人の幼子を連れて、雪の中を大和の国へと逃れた。しかし、母が捕らえられたと聞いて、常盤は自ら六波羅へ出頭し、平清盛に子どもたちの命乞いをした。清盛は、常盤の美しさに心を動かされ、子どもたちを出家させることを条件に、命を助けた。
末子の牛若は、七歳のとき、京の北にある鞍馬寺に預けられ、東光坊の阿闍梨のもとで学問に励んだ。牛若は聡明で、昼は経を読み、学問に打ち込んだので、師の僧たちも感心していた。
ところが、十一歳のころ、自分が源氏の嫡流である義朝の子であることを知ると、牛若の心は変わった。「なんとかして平家を滅ぼし、父の本懐を遂げたい」と思うようになり、昼は学問をするふりをしながら、夜になると、ひそかに寺を抜け出して、鞍馬の奥の僧正ヶ谷に通い、ひとりで武芸の稽古に励んだ。
僧正ヶ谷は、昔は多くの僧が住んでいたが、今は荒れ果てて、天狗が住むという恐ろしい所であった。牛若は、そこで木々を平家の一門に見立てて、大きな木を清盛、小さな木を重盛と名づけ、太刀を抜いて斬りつけた。後の世の人々は、牛若が鞍馬山の大天狗（鞍馬天狗）から兵法を授けられたと語り伝えた。
十六歳のとき、牛若は、奥州の金商人である金売吉次に出会い、奥州平泉の藤原秀衡を頼ることを決意した。牛若は、ひそかに鞍馬寺を抜け出し、吉次に伴われて東国へと旅立った。途中、近江の国の鏡の宿で、自ら元服して、源九郎義経と名乗った。
鞍馬山には、今も義経が修行したと伝える「背比べ石」や「木の根道」、「義経堂」などが残っている。