位于端州区宝月台，该地为肇庆八景之一的“宝月荷香”。早在宋代，任端州知郡事的包拯便在这里建立星岩书院，汉谋图书馆的前身就是星岩书院的“众绿厅”。
    清代时星岩书院改为包公祠，后又改作魁星楼，至民国初因年久失修坍毁。1917年，新加坡华侨陈祝龄捐资重建魁星楼。
    1935年，肇庆籍的国民党高级将领余汉谋捐资改建并赠一批古籍，因此更名为“汉谋图书馆”。该楼高二层，绿琉璃瓦歇山顶，砖木结构，总面积为400平方米，楼四周设有圆柱回廊。该图书馆面对宝月湖，周围环境清幽，是读书的好地方。