一千多年前，南宋皇帝赵构逃到杭州时，就被这“一曲溪流一曲烟”的西溪美景迷住了，曾想在这里建皇城；后来他找到了凤凰山，于是说了一句“西溪且留下”。西溪就这样“留下”了一千多年，西溪的地名改为“留下”。千百年来，西溪人世世代代在这里繁衍生息，耕田捕鱼，过着丰衣足食的平静生活。
历史上，西溪曾是文人墨客游历和隐居之地，是让徐志摩、郁达夫、康有为等人流连忘返之所，有着极其深厚的文化积淀；南宋以后，西溪的庵堂文化独具一格，最盛时曾有庵堂上百间。史料记载，清朝皇帝康熙和乾隆都曾到过西溪。而如今，即便是杭州人，也很少有人了解西溪了，而去过西溪的人就更少了。