光源氏死後，物語的舞台從京城移到宇治。被認為是源氏之子的薰（其實是柏木之子），隱約察覺到自己出生的秘密；他天生身上就散發香氣，卻有著強烈的厭世之心。
薰仰慕在宇治山村潛心修佛的八之宮（源氏的異母弟），開始常往宇治去。晚秋的一個夜晚，在殘月之下，薰偷偷看見八之宮的兩位姬君——大君與中君——在彈琵琶與箏，為之神魂顛倒。
八之宮死後，薰愛慕姐姐大君，但大君想讓妹妹中君與薰結合，自己則堅持獨身。另一方面，中君與薰的好友、源氏的外孫匂宮結合了。但匂宮礙於身分，很難常去宇治。大君嘆息妹妹的不幸，始終無法信任男人，臥病而死。
失去大君的薰面前，出現了與大君長得很像的異母妹妹浮舟。薰讓浮舟住在宇治，但匂宮也接近浮舟，在雪中乘小舟渡過宇治川，在對岸的屋子裡度過兩人獨處的時光。「橘之小島的顏色不會改變，而這隻浮舟（憂舟）卻不知漂向何方。」在兩個男人之間痛苦掙扎的浮舟，想投身湍急的宇治川，消失在夜色中。
其實浮舟被橫川的僧都救了起來，在小野的山村出家了。得知此事的薰派人送信，浮舟卻說「是認錯人了吧」，不肯相見。物語就在這裡靜靜落幕。宇治橋畔，至今仍立著紫式部的雕像。