從前，有一個男人。那個男人以狩使（進行鷹獵、把獵物獻給朝廷的使者）的身分前往伊勢國時，伊勢齋宮的母親捎話說：「要比平常的使者更用心地款待這個人。」齋宮因為是母親的吩咐，便非常用心地款待他。早上為他準備好出獵的行裝送他出門，傍晚他回來，就讓他到自己的殿舍來。就這樣盡心照顧。
第二天夜裡，男人說：「無論如何都想見妳。」女子也並非決意不見。可是耳目眾多，無法相見。男人是以正使身分前來，並沒有被安排住到很遠的地方。因為就在女子寢所附近，女子便等人們都睡熟了，在半夜十二點左右來到男人那裡。
男人也睡不著，望著外面躺著，在朦朧的月光中，有人讓一個小女童走在前面，站在那裡。男人非常高興，把她帶進自己的寢所，從凌晨一點待到三點左右，還什麼話都沒說，女子就回去了。男人非常悲傷，一夜未眠直到天亮。
第二天早上，正掛念著，女子那邊沒有隻字片語，只送來一首歌：
「是你來了，還是我去了？我記不清了。那是夢，還是真？是睡著，還是醒著？」
男人痛哭著吟道：
「在悲傷得一片漆黑的心之暗夜裡，我也迷失了。是夢是真，請今夜再見一面來決定吧。」
可是那天晚上，伊勢國守舉辦宴會，無法相見。天亮就必須出發前往尾張國。女子遞過來的酒杯的盤子上，寫著上句：「我們的緣分，淺得像徒步渡過也不會沾濕的淺灣。」男人用火把燒剩的炭，續寫下句：「我會再越過逢坂關，一定再來見妳。」然後動身前往尾張。
與侍奉神明、被禁止戀愛的齋宮，僅僅一夜的幽會。也有一說認為，《伊勢物語》這個書名就源於這一段。