Gümüşhane şehrinde yerleşimin ne zaman başladığına dair kesin bilgi bulunmamaktadır. İlk yerleşim, günümüzde şehrin batı-kuzeybatısında bulunan Canca Mahallesi’nde kurulmuştur. Canca Mahallesi’nin güneybatısındaki sarp kayalık alanda yer alan Canca Kalesi’nin yapılış tarihi bilinmemekle birlikte, Evliya Çelebi Seyahatnamesinde, İskender’in hükümdarlığı sırasında (MÖ 336-323) Philikos adlı bir görevlisinin bölgede gümüş madenleri bulmasıyla kalenin onarıldığı yazılmaktadır. Bu bilgi, kalenin daha eski dönemlere uzandığını düşündürse de arkeolojik bulgularla henüz kesinleşmemiştir.
Kimmer, İskit, Pontus ve Roma Dönemi
Kimmer ve İskit saldırılarından sonra Pontus Krallığı ve Roma İmparatorluğu bölgeye hakim olmuştur. Roma İmparatorluğu’nun bölünmesiyle birlikte bölge Bizans idaresinde kalmıştır. Bizans kaynaklarında Tzanicha ya da Tzantzakon olarak geçen yerin, Canca Kalesi ve yerleşimi olduğu düşünülmektedir. Bizans döneminde Haldia theması içerisinde yer almış, 7. yüzyıl sonlarından itibaren Arap akınlarına maruz kalmıştır. 8. yüzyıl ortalarına kadar Bizans-Arap güçleri arasında el değiştiren yerleşim, Arapların çekilmesiyle yeniden Bizans hakimiyetine girmiştir.
Türk Hakimiyeti ve Selçuklu Dönemi
1048 yılından itibaren geçici olarak Türk hakimiyetine giren Gümüşhane, 1071 Malazgirt Meydan Muharebesi sonrasında Emir Mengücek tarafından Türk idaresine alınmıştır. II. Gıyâseddin Keyhüsrev, 1237 yılında Anadolu Selçuklu Devleti tahtına geçtikten sonra Trabzon üzerine düzenlediği seferde tarihi Gümüşhane yerleşimini de ele geçirmiştir. Selçukluların Moğol hakimiyetine girmesinin ardından İlhanlılar, bölgeye hakim olmuştur. İlhanlıların zayıflamasıyla 14. yüzyıl ortalarında Celayirliler, ardından Eretna Beyliği, Kadı Burhâneddin Devleti, Akkoyunlular, Karakoyunlular ve zaman zaman Trabzon İmparatorluğu’nun hakimiyeti altına girmiştir. Osmanlıların 1461 yılında Trabzon İmparatorluğu’nu ilhak etmesiyle yerleşim Osmanlı hakimiyetine girmiş, 1467’de Akkoyunlular tarafından ele geçirilmiştir. 1473’te Otlukbeli Muharebesi’nden sonra kesin Osmanlı hakimiyetine geçmiştir.
Osmanlı Dönemi
1486 yılı kaydında “Palu Canca” adıyla bir köy olarak görülen yerleşim, Osmanlı idaresine geçtikten sonra gelişmeye başlamıştır. 1554 yılında yerleşimde 31 Müslüman hane ve 13 Müslüman bekar erkek ile 113 Hristiyan hane ve 27 Hristiyan bekar erkek kaydedilmiştir. 1583 yılında ise 50 Müslüman hane ve 16 Müslüman bekar erkek ile 594 Hristiyan hane kaydedilmiştir. Özellikle madencilik faaliyetlerinin artmasıyla nüfus hızla artmıştır. 1643 tarihli avarız kaydına göre yerleşimde 703 hane bulunmaktadır.
- yüzyıl başlarında Hacıemin Mahallesi’nde darphane açılmış ve bir süre faaliyet göstermiştir. 18. yüzyılda yerleşim sadece Gümüşhane olarak anılmaya başlamış, Canca adı kullanılmamıştır. 18. yüzyılda maden ocaklarının suyla dolması ve 1828-1829 Osmanlı-Rus Savaşı nedeniyle şehir gerilemeye başlamıştır. 1837 yılı nüfus defterine göre yerleşimde 391 Müslüman, 262 Rum ve 185 Ermeni hane bulunmaktadır.
Modern Dönem
1869 yılında Gümüşhane’de belediye teşkilatı kurulmuş ve ilk belediye başkanı Hafız Mustafa Efendi olmuştur. 1870 yılında 920 hane bulunan yerleşimde 14 mahalle bulunmaktaydı. 1876 yılında yerleşim merkezi Harşit Çayı kenarına taşınmaya başlamış ve günümüz yerleşiminin temelleri atılmıştır. 1893-1894 yıllarında yaşanan kıtlık ve 1895 Ermeni isyanı, yerleşimin demografik yapısını etkilemiştir.
I. Dünya Savaşı sırasında Osmanlı güçlerinin çekilmesiyle Rus güçleri 19 Temmuz 1916’da şehri ele geçirmiştir. 14 Şubat 1918’de Osmanlı güçleri şehri geri almıştır. 1923 yılında Rum nüfus, mübadele ile Yunanistan’a gönderilmiştir. Türk Kurtuluş Savaşı’nın ardından Ankara Hükümeti, Gümüşhane’nin yeni yerleşim yerinde Hükümet Konağı kurmuş ve şehrin gelişimi hız kazanmıştır. 20 Haziran 1924’te Gümüşhane ili kurulmuş ve Gümüşhane merkez ilçesi olmuştur.
2018 yılında, Akçakale Köyü’nün referandum sonucunda merkez ilçeye mahalle olarak bağlanması kabul edilmiş ve Akçakale mahalle olmuştur.
Bugün, toponimi ve etnografya çalışmalarıyla Kıpçakların, Gümüşhane yöresinde yoğun olarak bulunduğu anlaşılmaktadır. Kıpçak unsuru, Gümüşhane’ye Horasan bölgesinden değil, Kafkasya’dan inmiştir. Bu yoğun Kıpçak bakiyesine Gümüşhane dışında Bayburt ve Yusufeli’nde de rastlanmaktadır.