七百多年前，在下關海峽的壇之浦，進行了平家與源氏長期爭戰的最後一戰。平家連女人、孩子，連年幼的安德天皇，全都葬身海中。從此，那片海上出現平家的亡靈，夜裡鬼火在浪上徘徊，海邊住著一種叫平家蟹的螃蟹，背上有像人臉的花紋。為了撫慰亡靈，在赤間關建了阿彌陀寺。
那座寺裡住著一位名叫芳一的盲眼琵琶法師。彈唱平家物語無人能及，尤其是唱到壇之浦一段，據說連鬼神也忍不住落淚。
一個夏夜，住持外出不在，芳一獨自在廊緣彈琵琶，後門傳來腳步聲，一個鎧甲作響的武士喊道：「芳一。」「我家主君是身分高貴之人。前來觀看壇之浦之戰的遺跡，想聽你的彈唱。」芳一被牽著手，穿過一座大門，被帶到一間坐滿了人的大廳。他開始唱壇之浦一段，滿座寂靜，不久四處響起啜泣聲。一位老婦人告訴他：「從今起六夜，請每晚來唱。此事不可告訴任何人。」
住持懷疑芳一每晚偷偷出門，便叫寺男跟蹤。一個下雨的夜晚，寺男們看到的，是芳一在安德天皇的墓前，被無數鬼火包圍，獨自撥弄琵琶，放聲高唱的身影。
住持明白芳一被亡靈附身，再這樣下去會被撕成碎片。於是他讓芳一脫光衣服，從頭頂到腳底，在全身寫上般若心經，叮囑他：「今晚無論發生什麼事都不要回答，靜靜坐著。」
那天夜裡，那個武士又來喊「芳一」，芳一屏住呼吸不回答。「琵琶在這裡，卻看不到法師。看得到的只有兩隻耳朵。既然沒有回答的嘴，至少把這耳朵帶回去給主君當憑證吧。」鐵一般的手指抓住芳一的雙耳，扯了下來。住持因為匆忙，偏偏忘了在耳朵上寫經文。
芳一的傷不久痊癒，這不可思議的故事廣為流傳，他立刻成了名聞遐邇的琵琶法師。人們開始叫他「無耳芳一」。
阿彌陀寺在明治時代的神佛分離中成為赤間神宮，境內有安德天皇陵和平家一門之墓（七盛塚），以及祭祀芳一的芳一堂和芳一像。