Le canton de Giromagny a été créé en 1790 en tant que canton du département du Haut-Rhin. Par décret du 16 septembre 1871, il est établi comme canton du Territoire de Belfort.
À la suite de la création, au , de la nouvelle commune d'Évette-Salbert, qui lui est rattachée, le canton de Giromagny est étendu au territoire de l'ancienne commune de Salbert, auparavant située dans le canton de Valdoie.
Un nouveau découpage territorial du Territoire de Belfort entre en vigueur à l'occasion des élections départementales de 2015. Il est défini par le décret du 13février 2014[5], en application des lois du (loi organique 2013-402 et loi 2013-403)[6]. Les conseillers départementaux sont, à compter de ces élections, élus au scrutin majoritaire binominal mixte. Les électeurs de chaque canton élisent au Conseil départemental, nouvelle appellation du Conseil général, deux membres de sexe différent, qui se présentent en binôme de candidats. Les conseillers départementaux sont élus pour 6 ans au scrutin binominal majoritaire à deux tours, l'accès au second tour nécessitant 12,5 % des inscrits au 1er tour. En outre la totalité des conseillers départementaux est renouvelée. Ce nouveau mode de scrutin nécessite un redécoupage des cantons dont le nombre est divisé par deux avec arrondi à l'unité impaire supérieure si ce nombre n'est pas entier impair, assorti de conditions de seuils minimaux[7]. Dans le Territoire-de-Belfort, le nombre de cantons passe ainsi de 15 à 9.
Maintenu, le canton de Giromagny est élargi de 13 à 22 communes, issues des anciens cantons de Giromagny (11 communes) et de Rougemont-le-Château (11 communes). Le bureau centralisateur est situé à Giromagny.
