17世紀大航海時代以前，平埔族西拉雅系臺窩灣社（Taioan、Taiouan、Taivuan）即已濱臺江而居，以漁獵、農耕維生，後來「臺灣」之名即由此而來。1624年，荷蘭人進入臺南，建立殖民政權，以擴大貿易獨佔權，先後興築熱蘭遮城（今安平古堡前身）與普羅民遮城（今赤崁樓前身），作為堡壘、長官住所，與發號施令的行政中心。
1661年4月，鄭成功（1624-1662）率領400艘軍艦、2萬5000兵員轉進臺灣，圍城迫使荷蘭簽下降書，建立鄭氏王國，以臺灣為東都，設承天府，以普羅民遮城為府治，另以新港溪為界設兩縣：天興縣設治於佳里興（佳里區），管轄現今嘉義以北的地方，萬年縣設治於二層行（仁德區），管轄現今高雄以南的地方，並且將熱蘭遮城改為安平鎮，並分兵屯墾，獎勵農耕，開拓南臺灣。1664年，鄭經（1643-1681）重新規劃行政區域，將東都改為東寧，天興、萬年2縣升為州，並於南北路和澎湖設安撫司，同時將承天府分為4坊，分別為東安、西定、寧南、鎮北（皆在現今臺南市區），另外規畫24里，分布於現今臺南市及高雄市。
1683年（清康熙22年），清政府派遣施琅（1621-1696）率領戰船200餘艘、官兵2萬餘人攻打臺灣，鄭軍大敗於澎湖。翌年台灣納入清帝國版圖，4月設立臺灣府，府治設於東安坊，隸屬於福建省管轄，廢天興州、萬年州，將之改為諸羅縣、臺灣縣與鳳山縣，隸於臺灣府管轄。其後，雖因治安與國防考量，而於1723年（清雍正元年）增設彰化縣、1731年（清雍正9年）再設噶瑪蘭廳。
1894年（清光緒20年），清日「甲午戰爭」，翌年，清國戰敗，將臺澎割讓給日本。日本治臺之初，參照清領末期舊制，將臺北府、臺灣府、臺南府改為臺北縣、臺灣縣與臺南縣；臺南縣所轄包括現今的雲林、嘉義、臺南、高雄、屏東等縣市。其後多次變革。
1945年（昭和20年）8月15日，日本無條件投降，10月25日，國民政府臺灣行政長官公署陳儀來台接管臺灣。翌年（1946）1月7日「臺南縣」成立，除原屬臺南州之臺南、嘉義兩市劃出獨立為省轄市外，其餘原屬臺南州下的10郡，仍為臺南縣轄域，並改郡為區，改庄街為鄉鎮；繼則將水上、太保2鄉劃歸嘉義市、安順鄉編入臺南市，並增設林內、麥寮、褒忠、東勢等4鄉，復將原阿里山番界改設吳鳳鄉，縣治設於新營，市治則設於臺南市區。
1950年（民國39年）10月25日，行政區域重新劃分，易大縣制為小縣制，今日臺南的範圍，縮為八掌溪以南、二仁溪以北之地，原臺南縣部分轄有新營、曾文、北門、新化、新豐等5區31鄉鎮市，其餘為臺南市範圍。
2010年（民國99年）12月25日，臺南縣市合併，稱「臺南市」，計轄37區，首任市長為賴清德先生。