治承元年（一一七七年）、京都東山の鹿ヶ谷にある俊寛僧都の山荘で、平家打倒の密議が行われた。この計画は密告によって露見し、首謀者の一人である藤原成親は流されて殺され、俊寛、藤原成経、平康頼の三人は、薩摩の国の沖はるかにある鬼界ヶ島に流された。
島は、船もめったに通わず、人もまれである。住民は色が黒く、牛のようで、言葉も通じない。田畑もなく、硫黄ばかりを産する島であった。成経と康頼は熊野の神を信仰して、島の中に熊野三山になぞらえた所を作り、帰京を祈った。康頼は卒塔婆千本に歌を書いて海に流した。そのうちの一本が、厳島に流れ着いたという。
翌年、中宮徳子の懐妊にあたり、安産祈願のための大赦が行われた。赦免の使者が島に着き、赦し文を読み上げる。成経、康頼の名はあったが、俊寛の名はない。何度読み返しても、ない。俊寛は「これは何かの間違いだ。三人一緒に罪を受けたのに、どうして私だけが赦されないのか」と、赦し文を手に取って、泣き叫んだ。
いよいよ船が出ようとすると、俊寛は、船の纜にとりついて、腰まで、脇まで、背の立つところまで引かれていった。背が立たなくなると、船にしがみついて、「私を連れて行ってくれ。せめて九州の地まで」と懇願したが、都の使者は許さなかった。成経は「すぐに都から迎えを差し向けましょう」と慰めたが、船は漕ぎ出していった。
俊寛は、渚に上がって倒れ伏し、幼い子どもが乳母や母を慕うように、足をばたばたとさせて、「乗せてくれ、連れて行ってくれ」と、わめき叫んだけれど、漕ぎ去っていく船の常として、あとは白波が残るばかりであった。
のちに、俊寛の侍童であった有王が島を訪ねたとき、俊寛はやせ衰えた姿で生きていた。有王から妻子の死を聞いた俊寛は、食を断って、自ら命を終えた。