七百年あまり前、下関海峡の壇ノ浦で、平家と源氏の長い争いの最後の戦いが行われた。平家は女も子どもも、幼い安徳天皇も、ことごとく海に滅んだ。それ以来、その海には平家の亡霊が現れ、夜には鬼火が波の上をさまよい、海辺には平家蟹という、背に人の顔のような模様をもつ蟹がすむという。亡霊を慰めるため、赤間関に阿弥陀寺が建てられた。
その寺に、芳一という盲目の琵琶法師が住んでいた。平家の物語を弾き語ることにかけては並ぶ者がなく、とりわけ壇ノ浦の段を語れば、鬼神も涙をこらえられないと言われた。
ある夏の夜、住職が留守の寺で、芳一がひとり縁側で琵琶を弾いていると、裏門から足音が近づき、鎧の音を響かせた武士が「芳一」と呼んだ。「わが主君は、身分の高いお方である。壇ノ浦の戦を見物にお越しになり、そなたの語りを聞きたいと仰せだ」。芳一は手を引かれて、大きな門をくぐり、大勢の人々が居並ぶ広間に導かれた。壇ノ浦の段を語り始めると、座は静まりかえり、やがてあちこちからすすり泣きの声が上がった。老女が「これより六夜、毎晩語ってほしい。このことは誰にも言ってはならぬ」と告げた。
芳一が毎晩ひそかに出かけていくのを怪しんだ住職は、寺男に後をつけさせた。雨の夜、寺男たちが見たのは、安徳天皇の墓の前で、無数の鬼火に囲まれ、ひとり琵琶をかき鳴らして声を張り上げる芳一の姿であった。
住職は、芳一が亡霊に取り憑かれ、このままでは引き裂かれてしまうと悟った。そこで芳一を裸にして、頭から足の裏まで、全身に般若心経を書きつけ、「今夜は何があっても返事をせず、じっと座っておれ」と言い聞かせた。
その夜、例の武士がやってきて「芳一」と呼んだが、芳一は息を殺して答えない。「琵琶はここにあるが、法師は見えぬ。見えるのは耳が二つだけだ。返事をする口がないのなら、せめてこの耳を殿へのしるしに持って帰ろう」。鉄のような指が芳一の両耳をつかみ、引きちぎっていった。住職は、急いでいたために、耳にだけ経を書き忘れていたのである。
芳一の傷はやがて癒え、この不思議な話は広く知れ渡って、彼はたちまち評判の琵琶法師となった。人々は彼を「耳なし芳一」と呼ぶようになった。
阿弥陀寺は明治の神仏分離で赤間神宮となり、境内には安徳天皇の陵と平家一門の墓（七盛塚）、そして芳一を祀る芳一堂と芳一像がある。