逃離吉野的義經，在奈良、京都藏身之後，決定投靠奧州的藤原秀衡，沿北陸道而下。一行人包括義經、弁慶，只有十幾人。大家都扮成山伏，義經則扮成強力（挑夫）。
賴朝為了捉拿義經，在各地設了關卡。《義經記》中，在越中國的如意渡口，擺渡人起了疑心：「這不是判官殿（義經）嗎？」弁慶說：「就因為這個挑夫長得像判官殿，三番兩次被人懷疑，真氣人。」便用扇子狠狠地打了義經一頓。看到這種毆打主君的意外舉動，擺渡人也打消了疑心，讓一行人渡了河。
渡河之後，弁慶跪在義經面前，放聲大哭：「毆打主君的這個罪，要怎樣才能被原諒呢？」據說義經也拉著弁慶的手哭了。
＊
這個故事後來成為能《安宅》，又成為歌舞伎十八番的《勸進帳》，以加賀國的安宅關為舞台上演。
關守富樫左衛門懷疑這些山伏，逼問道：「如果是為了東大寺重建的勸進之旅，應該帶著勸進帳。唸來聽聽。」弁慶攤開白紙卷軸，彷彿是真的勸進帳一般，朗朗唸出。
富樫又盤問扮成挑夫的義經，弁慶就用金剛杖狠狠地打義經。富樫雖已看穿那是義經，卻被弁慶為主君著想的忠義打動，放一行人通過。
過關之後，弁慶向義經請罪而哭，義經拉起他的手。接著弁慶喝了富樫款待的酒，醉後跳起延年之舞，最後以「飛六方」從花道退場。安宅關遺址在今天的石川縣小松市，立著弁慶、義經、富樫的銅像。