连接秦岭—大别山脉的皖山山脉绵延向东北，经合肥市东北部延伸于市境五尖山、皇甫山、磨盘山、张八岭、老嘉山、长山、芝麻岭，形成江淮分水岭。位于定远、肥东、南谯、全椒等四县（区）交界处的五尖山脉除自西向东延伸的主脉外，分别向东北和西南方向伸出两支余脉，其中东北余脉蜿蜒进入凤阳县境，西南余脉逶迤进入全椒县境。其东北向余脉再分两支，其一在凤阳县南部与定远县北部交界处的近东西走向的凤阳山区，绵延40余公里；其二在凤阳县东北与明光市接壤处的石门山—庙山一带，其走向近南北，绵延20公里。市境地分丘陵、岗地、平原三大类型，平原较少主要分布在沿河、湖的狭窄地带，其余均为丘陵与岗地。

市境地跨长江、淮河两大流域，境内河流分属三大水系，即淮河干流水系、滁河水系和高邮湖水系。市境淮河干流水系主要支流有窑河、天河、濠河、板桥河、小溪河和池河。

长江以北有一条自西向东流淌的河流，发源于安徽肥东，婉延270公里，汇集了江淮分水岭以南诸水，浩浩荡荡，从江苏六合汇入长江，这就是长江下游最大的一条支流，滁州的母亲河—滁河。

滁河水系主要支流有小马厂河、管坝河、大马厂河、襄河、土桥河、清流河、来安河、沛河、皂河等。高邮湖水系主要支流有白塔河、铜龙河、杨村河、王桥河、秦栏河以及白塔河的主要支流川桥河等。市境湖泊不多，主要有花园湖、女山湖、七里湖以及与周边市县的界湖高邮湖、高塘湖等。水利工程众多，有大型水库2座（沙河集、黄栗树）中型水库45座，小型水库955座，成为星罗棋布的人工湖泊，点缀在绵延起伏的皖东丘陵上。发挥着灌溉、防洪、生产生活用水和游览观光休闲的多种功能。