因处于丰乐河南岸，曾名丰南。背倚凤形山，面临丰乐水，风景秀丽。唐代建材，鼎盛于明清。经济发达，文风昌盛，名人辈出。历代名人有宋学者吴自牧，元诗人吴鼎新，明学者吴海、诗人吴可封、著名徽商吴养春，清学者吴元满、诗人吴崎，书法家吴又和、篆刻家吴凤等。至今保留明代建筑10多处，清代民居100多幢，其中老屋阁和绿绕亭属安徽省重点文物保护单位。村中私人园林众多，果园遗址可寻。古有八景："古桐乔木"、"梅溪书屋"、"南山翠屏"、"轴畴绿绕"、"清溪涵月"、"西陇藏云"、"竹林凤呜"、"山源春涨"。1498年，江南才子祝枝山至西溪南舅公家，据八景之名和意境各赋诗一首，并由著名文士唐允甲题跋，留赠舅公。吴族将此八景诗刻成碑帖，立于家园，现仅存一碑，藏歙县"新安碑园"。清代画家石涛曾以祝枝山八景诗意作八景图，现藏上海博物馆。清代学者胡长庚游此，亦有丰溪八景诗。