在当地，有“一座姚州城，半部云南史”的说法。大约从唐代起，高氏家族就开始在这里行使统治，虽然名称各异，但府治都在原地修建，连续驻守达20余世。在高氏职位世袭者中，其子孙也不乏忠君报国的仁人志士，如誓死效忠明朝被斩于昆明五华楼的高泰祥，以及后来的大学者高雪君等。高氏家族在云南前后历经54世，直到清雍正七年（1729年）才因“改土归流”，被迁移江南。至此，姚安军民总管府伴随着高氏家族，沿袭了26世，时间达700余年。
姚安路军民总管府旧址所在地光禄，今为姚安一镇。史上则为政权建置最早，辉煌盛极一时的政治经济军事文化中心。总管府位于龙华山下古镇之西，与高雪君祠（高氏土衙）、高氏宗祠为邻，为国家级文物保护单位。历经两汉、唐（南诏）、宋(大理）、元、明、清七代。期间或军镇、或府衙、或自治土司衙署，皆有政治管理机构相延。世称“七朝古衙”。
在元代路府州县的地方行政区划中，姚安路级别较为特殊。元文宗天历年间，世居当地的豪门望族高氏39世高武德入觐朝廷，文宗皇帝嘉其世代忠孝，将州升格为路，颁诏高氏后人高钧明任总管，并授武德将军，直属云南行省，子孙世袭。
高氏家族渊源久远。据最新发现的高氏族谱记载，高氏始祖高翔祖籍江西吉安府，后随诸葛亮南征入云南，此后世代繁衍。公元973年，通海节度使段思平起兵讨伐杨干贞，高氏第二十八代高方鼎力相助。段思平建立地方政权大理国后，封高氏为岳侯，领地遍及云南大部地区。大理国第十二代国主段廉义被权臣杀害，又是高氏后人帮段氏平定内乱。在大理国时期，高氏权重一时，段氏还曾将王位让给高氏后人高升泰。高升泰死后，才又还位于段正淳。
