霍山縣歷史悠久，建制較早。據史書(shū)記載，春秋時(shí)，此地是仲甄仕夏的封地。始屬楚國，楚漢相爭時(shí)，項羽封伍芮為衡山王，潛邑屬衡山國（國都在今黃岡縣東南，古稱(chēng)“邾”）
　　漢孝文帝前十六年（公元前164年）于淮南地復置衡山國。漢武帝元狩元年（公元前122年）衡山王謀反被平，改衡山國為衡山郡，后漢章帝時(shí)，潛縣屬壽州廬江郡。南北朝時(shí)，宋文帝元嘉二十五年（公元448年），改潛縣為開(kāi)化縣，屬邊城左郡；南齊屬安豐郡。

　　隋朝開(kāi)皇初年，在今下符橋設置淠水縣，不久廢州改縣，始稱(chēng)霍山縣，遷于今治。唐初復置開(kāi)化縣。神功元年（公元697年），改為武昌縣，神龍元年（公元705年）又復置霍山縣。開(kāi)元二十七年（公元739年），在今六安設盛唐，管轄霍山。天寶元年（公元742年），從盛唐縣劃出一部疆域，增設霍山縣，城址在今古城畈。宋開(kāi)寶初，廢霍山、盛唐兩縣，其疆域劃歸六安縣，直至宋末曹平章?lián)亓f(wàn)寨，仍歸六安縣管轄。明弘治年間，居民錢(qián)俸上書(shū)，請以六安州西南境立縣，獲準，設置霍山縣，屬廬州府六安州。清沿明制。

　　民國初年，廢府設道?；羯娇h改隸安慶道。民國21年（1932年），霍山縣改隸行政督察第三區。1930年4月，成立了安徽省第一個(gè)縣級蘇維埃政權——霍山縣蘇維埃政府；隨后，霍山全縣赤化，成為安徽省第一個(gè)全境赤化縣。1931年2月23日，中共安徽省委向中共中央報稱(chēng)“全省規定四個(gè)中心縣，紅色區域以霍山為中心縣，白色區域以安慶、合肥、屯溪三縣作中心。1936年又將霍山南部黃尾河等9個(gè)保劃歸岳西縣管轄。直至中華人民共和國成立前夕，霍山縣的建制、疆界基本穩定。