Từ thế kỷ III trước Công nguyên, vùng đất Cao Bằng đã được gọi là một nước có tên là Nam Cương, do Thục Phán làm vua, đóng đô ở Yên Bình (gọi là kinh đô Nam Bình), trung tâm Hòa An (nay là Cao Bình, xã Hưng Đạo, thuộc thành phố Cao Bằng).

Thời kỳ Bắc thuộc, vùng đất Cao Bằng thuộc Tượng Quận, sau đó là quận Giao Chỉ. Đến khi Đại Cồ Việt độc lập, vào nửa thế kỷ XI, vùng đất Cao Bằng lần lượt mang những tên khác nhau: nước Trường Sinh (Trường Sinh quốc), rồi nước Đại Lịch (Đại Lịch quốc), nước Nam Thiên (Nam Thiên quốc), nước Đại Nam (Đại Nam quốc), với những người đứng đầu là Nùng Tồn Phúc, Nùng Trí Cao. 
Thời thuộc Minh, địa bàn tỉnh Cao Bằng ngày nay “là đất các huyện Long Thạch, Thái Nguyên, thuộc phủ Thái Nguyên và các châu Thượng Tư, Hạ Tư, Quảng Nguyên, phủ Lạng Sơn”.

Tiếp theo là danh xưng Cao Bằng (Cao Bình) xuất hiện, cũng là một trong những địa danh có tên từ rất sớm, lần đầu tiên tên gọi Cao Bằng (Cao Bình) được ghi trong sách Dư địa chí của Nguyễn Trãi viết năm 1435, sách viết: "Bồ và Hòa An ở về Cao Bằng. Bồ là tên sông, Hòa An là tên sông. Cao Bằng xưa là ngoại địa của bộ Vũ Định; Đông Bắc tiếp giáp lưỡng Quảng; Tây Nam tiếp giáp Thái Nguyên, Lạng Sơn. Có 1 lộ phủ, 4 châu, 273 làng xã. Đấy là nơi phên dậu thứ tư về phương bắc vậy". 

Theo Nguyễn Trãi, hồi bấy giờ (1435) Cao Bằng đã ở hàng cấp lộ. Đời vua Lê Thánh Tông (Quang Thuận 1460 - 1469, Hồng Đức 1470 - 1497), năm Hồng Đức thứ 3 (1472) đặt các thừa tuyên, phủ, huyện, châu. Phủ Cao Bằng thuộc Thừa tuyên Ninh Sóc, phủ Cao Bằng có 4 châu. Năm Hồng Đức thứ 4 (1473), Thừa tuyên Ninh Sóc lại được đổi thành Thừa tuyên Thái Nguyên, phủ Bắc Bình được đổi làm phủ Cao Bình (Cao Bằng) vẫn thuộc Thừa tuyên Thái Nguyên. Theo bản đồ Hồng Đức (1490) thì phủ Cao Bằng có 4 châu, 172 xã, 4 thôn, 22 trang. 

Đến đời vua Lê Hiến Tông (1497 - 1504), nhận thấy vị trí đặc biệt quan trọng của miền đất Cao Bằng, năm Cảnh Thống thứ hai (1499), nhà vua đã tách phủ Cao Bằng ra khỏi Thừa tuyên Thái Nguyên để thành lập trấn Cao Bằng, trong Đại Việt địa dư toàn biên của Nguyễn Văn Siêu ghi rõ: "Năm Cảnh Thống thứ hai mới đặt riêng làm trấn Cao Bằng... đến năm Vĩnh Trị thứ hai (1677) nhà Mạc mất, nhà Lê lại đặt lại trấn Cao Bằng". Như vậy, Cao Bằng tách khỏi Thừa tuyên Thái Nguyên từ rất sớm và được thành lập một khu vực hành chính của quốc gia Đại Việt với chức năng quản lý trấn vào năm 1499, dưới triều vua Lê Hiến Tông. Học giả Phan Huy Chú từng nhấn mạnh chức vụ Trấn ty và vùng đất Cao Bằng: "Thời Trung Hưng về sau bãi chức đô ty, lại đặt chức Trấn thủ, duy có ba xứ Cao Bằng, Lạng Sơn và Nghệ An vì việc biên giới quan trọng, phiền kịch đều đặt chức Đốc trấn".

 Dưới thời Tây Sơn, năm 1789, sau khi đánh đuổi 29 vạn quân Thanh, vua Quang Trung - Nguyễn Huệ tiến hành chấn chỉnh lại hệ thống hành chính, thay đổi tên gọi. Để tránh tên húy của vua Quang Trung là Nguyễn Quang Bình, các vùng đất có tên là Bình đều phải đổi tên, từ đó trấn Cao Bình đổi thành Cao Bằng. Vào đầu triều Nguyễn đặt lại tên cũ là Cao Bình, nhưng do thói quen kiêng kỵ nên sử sách và người dân cho đến nay vẫn gọi là Cao Bằng.

  Thời nhà Nguyễn, theo sách "Tên làng xã Việt Nam đến đầu thế kỷ XIX" là một bộ địa danh hành chính đời Gia Long (1802 - 1820), trấn Cao Bằng gồm 4 châu (Thạch Lâm, Quảng Uyên, Thượng Lang, Hạ Lang), 27 tổng, 233 xã, thôn, phường, phố, trại, động.

  Khi nối ngôi vua Gia Long năm 1820, năm Minh Mệnh thứ 12 (1831) tiến hành cải cách hành chính từ Trung ương đến địa phương, đổi trấn làm tỉnh. Nhà vua quyết định: "Chia địa hạt các tỉnh... Cao Bằng thống trị một phủ là Trùng Khánh; 4 châu là Quảng Uyên, Thượng Lang, Hạ Lang và Thạch Lâm", đến tháng 3/1834, nhà Nguyễn đổi các châu Thạch Lâm, Thượng Lang, Quảng Uyên thuộc Cao Bằng làm huyện. Đặt tri huyện và giáo chức, tháng 5 năm đó lại đổi tiếp châu Hạ Lang thành huyện. 

Tháng 6 nhuận năm 1835, triều đình nhà Nguyễn cho rằng Cao Bằng chỉ có một phủ và 5 huyện, đất đai khá rộng, nên quyết định đặt thêm phủ để chia sẻ bớt công việc. Vì vậy, năm Minh Mệnh thứ 16 (1835) lập thêm phủ Hòa An; chia huyện Thạch Lâm thành hai huyện Thạch Lâm và Thạch An, thuộc phủ Hòa An. Tri phủ Hòa An kiêm lý huyện Thạch Lâm và thống hạt huyện Thạch An. Còn ba huyện: Thượng Lang, Hạ Lang, Quảng Uyên vẫn là phủ Trùng Khánh. Tri phủ Trùng Khánh kiêm lý Hạ Lang, thống hạt Thượng Lang và Quảng Uyên. Bỏ chế độ thổ quan, đặt chế độ lưu quan. Năm Tự Đức thứ tư (1851), triều đình lại bỏ phủ Hòa An, do vậy, từ năm 1851 trở đi tỉnh Cao Bằng chỉ còn một phủ Trùng Khánh gồm 5 huyện: Thạch Lâm, Thạch An, Quảng Uyên, Thượng Lang, Hạ Lang. 

Khi thực dân Pháp xâm lược nước ta (1858) và xâm chiếm Cao Bằng (1886), nhà Nguyễn vẫn duy trì bộ máy chính quyền để quản lý vùng biên và tích cực thực hiện chính sách lưu quan. Sau đó, thực dân Pháp cai trị Cao Bằng theo chế độ quân quản, năm 1888, Cao Bằng là một khu. Đến năm 1891, Pháp bỏ các quân khu và thiết lập đạo quan binh, Cao Bằng trở thành tiểu quân khu thuộc đạo quan binh 2, gồm 3 tiểu quân khu: Cao Bằng, Bảo Lạc, Bắc Kạn, lỵ sở đạo lỵ đặt tại thị xã Cao Bằng. Từ năm 1886 - 1945, tên gọi, địa giới các đơn vị hành chính tỉnh Cao Bằng có sự thay đổi. Cuối thế kỷ 19, Cao Bằng có phủ Trùng Khánh (gồm 3 châu: Thượng Lang, Hạ Lang, Quảng Uyên), phủ Hòa An (gồm 3 châu: Thạch Lâm, Thạch An, Nguyên Bình). Năm 1926, Cao Bằng là "Đạo quan binh thứ nhì" gồm 1 phủ (Hòa An), 7 châu: Hà Quảng, Thạch An, Nguyên Bình, Phục Hòa, Quảng Uyên, Thượng Lang, Hạ Lang gồm 31 tổng và 222 xã. Theo cuốn "Danh mục các làng, xã Bắc Kỳ", năm 1928 tỉnh Cao Bằng gồm 1 phủ, 8 châu, 33 tổng, 230 xã. Đó là phủ Hòa An, các châu Bảo Lạc, Hà Quảng, Hạ Lang, Nguyên Bình, Phục Hòa, Quảng Uyên, Thạch An, Thượng Lang. 

Sau Cách mạng Tháng Tám năm 1945, Cao Bằng cùng cả nước bước sang một giai đoạn lịch sử mới. Năm 1948, Chính phủ quyết định bãi bỏ cấp phủ, tổng, đạo. Cấp trên xã và dưới cấp tỉnh đều thống nhất gọi là huyện. Cao Bằng có 11 huyện, thị gồm: Thị xã Cao Bằng, các huyện Hòa An, Hà Quảng, Bảo Lạc, Nguyên Bình, Thạch An, Phục Hòa, Hạ Lang, Quảng Uyên, Trùng Khánh, Trấn Biên. Ngày 3/10/1950, Cao Bằng hoàn toàn giải phóng. Sau khi kháng chiến chống Pháp thắng lợi, ngày 1/7/1956, Cao Bằng cùng các tỉnh Bắc Kạn, Lạng Sơn, Thái Nguyên, Tuyên Quang, Hà Giang lập thành Khu tự trị Việt Bắc.

Trong thời kỳ đi lên chủ nghĩa xã hội, đơn vị hành chính Cao Bằng tiếp tục điều chỉnh. Ngày 20/3/1958, huyện Trấn Biên đổi tên thành huyện Trà Lĩnh; ngày 7/4/1966, huyện Hà Quảng được chia tách thành 2 huyện: Thông Nông, Hà Quảng; ngày 3/3/1967, hợp nhất hai huyện Quảng Uyên và Phục Hòa thành huyện Quảng Hòa; ngày 15/9/1969, giải thể huyện Hạ Lang, sáp nhập một số xã vào huyện Quảng Hòa và một số xã vào huyện Trùng Khánh. 

Ngày 27/12/1975, tỉnh Cao Bằng và Lạng Sơn hợp nhất thành tỉnh Cao Lạng, tỉnh lỵ đặt tại thị xã Cao Bằng. Đến ngày 29/12/1978, tỉnh Cao Lạng lại được chia thành 2 tỉnh Cao Bằng, Lạng Sơn. Hai huyện Ngân Sơn và Chợ Rã thuộc tỉnh Bắc Thái được sáp nhập vào tỉnh Cao Bằng, từ năm 1979 tỉnh Cao Bằng có 12 huyện, thị. Đến ngày 1/9/1981, huyện Hạ Lang được tái lập. Năm 1996, hai huyện Ngân Sơn, Ba Bể được tách về tỉnh Bắc Kạn mới tái lập; từ đó Cao Bằng có 11 đơn vị hành chính cấp huyện, thị (1 thị xã, 10 huyện) và 189 xã, phường, thị trấn.

Đến năm 2000, huyện Bảo Lạc được chia thành 2 huyện là Bảo Lạc, Bảo Lâm. Năm 2001, huyện Quảng Hòa lại được chia tách thành 2 huyện là Quảng Uyên, Phục Hòa. Năm 2006 và 2007, địa giới hành chính một số xã được điều chỉnh và thành lập thêm một số xã mới tại các huyện Bảo Lạc, Bảo Lâm, Hà Quảng, Thông Nông, Trùng Khánh. Năm 2012, thành phố Cao Bằng được thành lập trên cơ sở diện tích, dân số… của thị xã Cao Bằng. Sau nhiều lần thay đổi địa giới hành chính, hiện nay Cao Bằng có 1 thành phố và 12 huyện, với 199 xã, phường, thị trấn, trong đó có 46 xã, thị trấn biên giới.

Với bề dày lịch sử 520 năm xây dựng và phát triển, trải qua các thời kỳ lịch sử, Cao Bằng vẫn luôn giữ được vai trò là đơn vị hành chính có vị trí chiến lược trọng yếu và xứng danh là “phên dậu” vững chắc nơi biên cương phía Bắc của đất nước.
 Non nước Cao Bằng hội tụ nhiều giá trị lịch sử, văn hóa đặc sắc, đậm đà bản sắc dân tộc, kết tinh nhiều giá trị nhân văn cao đẹp, đang được bảo tồn và phát huy.   

Theo baocaobang.vn