文政十一年（1828年）秋天，鈴木牧之造訪了越後與信濃國界的秘境秋山鄉。秋山鄉是沿著中津川深谷、小村落星羅棋布的山村。不在險峻的山路上走好幾天，是到不了的。
秋山鄉的人們口耳相傳，說自己是平家落人的後代。據說在源平之戰中戰敗的平家人，為了躲避追兵，隱居在這深山之中。
牧之看到的秋山鄉生活，樸素得令人驚訝。房子把柱子直接埋進地裡立起來，屋頂和牆壁都用茅草蓋成，很小。幾乎沒有水田，人們以燒墾的方式種粟、稗、蕎麥，在山中採集果實和野菜，在河裡捕魚為生。
冬天被深雪封住，與外界的往來完全斷絕。人們讓地爐的火不熄，靠儲備的糧食過冬。
儘管如此，秋山鄉的人們誠實、無慾，熱情款待旅人牧之。牧之巡遊各村，配上插圖，詳細記下了人們的生活、語言和傳說。這就是《秋山記行》。
牧之的記錄，成為傳達江戶時代山村生活的珍貴資料。