吉野を逃れた義経は、奈良や京に身を隠した後、奥州の藤原秀衡を頼って、北陸道を下ることにした。一行は、義経、弁慶以下わずか十数人。みな山伏の姿に身をやつし、義経は強力（荷物持ち）に変装した。
頼朝は、義経を捕らえるため、各地に関所を設けていた。『義経記』では、越中の国の如意の渡しで、渡し守が「判官殿（義経）ではないか」と疑いをかけた。弁慶は、「この強力が判官殿に似ているせいで、たびたび怪しまれる。腹立たしい」と言って、扇で義経をさんざんに打ちすえた。主君を打つという思いもかけない行いに、渡し守も疑いを解き、一行を渡した。
渡った後、弁慶は、義経の前にひざまずいて、「主君を打ったこの罪は、どうしたら許されましょうか」と、声を上げて泣いた。義経も、弁慶の手を取って泣いたという。
＊
この話は、のちに能『安宅』、そして歌舞伎十八番の『勧進帳』となって、加賀の国の安宅の関を舞台に演じられるようになった。
関守の富樫左衛門は、山伏たちを怪しみ、「東大寺再建の勧進のための旅であれば、勧進帳を持っているはずだ。読んでみよ」と迫る。弁慶は、白紙の巻物を広げて、あたかも本物の勧進帳であるかのように、朗々と読み上げてみせる。
さらに富樫が、強力姿の義経を見とがめると、弁慶は金剛杖で義経を激しく打ちすえる。富樫は、それが義経であると見抜きながらも、主君を思う弁慶の忠義に心を打たれて、一行を通す。
関を越えた後、弁慶は義経に詫びて泣き、義経はその手を取る。そして弁慶は、富樫からふるまわれた酒に酔って延年の舞を舞い、最後に「飛び六方」で花道を去っていく。安宅の関跡は、今の石川県小松市にあり、弁慶・義経・富樫の像が立っている。