治承元年（1177年），在京都東山鹿谷俊寬僧都的山莊，舉行了打倒平家的密謀。這計畫因告密而敗露，主謀之一的藤原成親被流放後殺害，俊寬、藤原成經、平康賴三人被流放到薩摩國外海遙遠的鬼界島。
那島上船隻很少往來，人煙稀少。居民皮膚黝黑，像牛一樣，語言也不通。沒有田地，只產硫黃。成經和康賴信仰熊野之神，在島上比擬熊野三山造了參拜處，祈求能回京城。康賴在一千根卒塔婆上寫了和歌放入海中。據說其中一根漂到了嚴島。
第二年，因中宮德子懷孕，為祈求平安生產實行了大赦。赦免的使者抵達島上，宣讀赦免書。有成經、康賴的名字，卻沒有俊寬的名字。讀了一遍又一遍，就是沒有。俊寬說：「這一定是搞錯了。三個人一起受罪，為什麼只有我不被赦免？」拿著赦免書哭喊。
船終於要出發了，俊寬抓住船纜，被拖著走到水深及腰、及腋下、直到腳還踩得到底的地方。腳踩不到底了，他就緊抱著船懇求：「帶我走吧。至少帶到九州。」可是京城來的使者不答應。成經安慰他說：「我們會馬上從京城派人來接你。」船還是划走了。
俊寬爬上岸邊，撲倒在地，像幼小的孩子哭著要乳母或母親一樣，雙腳亂蹬，叫喊著：「讓我上船，帶我走吧。」但划遠的船總是如此，只留下一片白浪。
後來，曾是俊寬侍童的有王到島上探訪時，俊寬形容枯槁地活著。從有王口中得知妻兒已死，俊寬斷絕飲食，自行結束了生命。