A római korban (1–4. század) a kvádok telepedtek itt meg, s az Ipoly mentén vezető kereskedelmi utat
alakítottak ki. A honfoglaló magyarok Gyarmat nevű törzsének megtelepedésére utal a név utótagja,
előtagját pedig legfontosabb birtokosairól, a Balassa családról kapta a 15. században. Gyarmat az Ipoly
folyó átkelőhelyét védte. Vára a tatárjárás után létesült őrhelyből fejlődött ki. Első írásos említése
1244-ből származik. Mezővárosi jogot 1437-ben kapott.
A török 1552-től 1593-ig tartotta megszállva. A tizenöt éves háború elején, 1593 őszén Gyarmatról a török
őrség megszökött és felgyújtotta a várat. A törököket végleg Forgách Ádám érsekújvári főkapitány felmentő
serege űzte el a környékről 1648-ban. 1652-től Balassa Ferenc és Imre lettek a vár főkapitányai. 1663-ban
vagy talán 1665-ben foglalták el ismét a törökök, akik ez alkalommal fel is robbantották. A település ezzel
elveszítette jelentőségét. A hódoltsági harcok során a környék elnéptelenedett. A lakosság visszatelepítése
csak a 17. század második felében kezdődött meg. Az ekkor épült várfal maradványa a Bástya utcában látható.
A török kiűzése után kedvező földrajzi fekvésének köszönhetően gyorsan benépesült: a felső-magyarországi
bányavárosokat az Alföld településeivel összekötő kereskedelmi út csomópontján feküdt. Ennek hatására
nagyszámú kereskedelemmel foglalkozó csoport, pl. szerbek, zsidók, németek telepedtek meg itt. Emléküket
őrzi a ma is meglévő szerb templom, illetve a zsidó temető. Az itteni zsidóságból került ki Rózsavölgyi
Márk, a verbunkos zene nagy alakja, a „csárdás atyja”, akinek nevét a helyi művészeti iskola őrzi.
1683 után Nógrád vármegyének nem volt állandó székhelye, a vármegyegyűlésekre felváltva Szécsényben,
Losoncban vagy Gácson került sor. 1790-ben Nógrád vármegye székhelyét a közgyűlés áthelyezte
Balassagyarmatra, a megüresedett kaszárnyába, ami egy idő után szűkké vált, ezért a vármegye 1832-ben
elrendelte az újjáépítését. Az új, ma is álló vármegyeházát 1835. október 19-én avatták föl.
Balassagyarmat jelentős kereskedelmi csomópont volt végig a reformkorban, emiatt lakossága a reformkor
végére 7529 főre duzzadt. 1845-ben épült a megyei börtön, mely a legrégibb ma is működő börtön
Magyarországon. Petőfi Sándor kétszer is megfordult Balassagyarmaton felvidéki útjai során. Madách Imre
vármegyei aljegyző volt 1842 és 1848 között, és itt tanított Komjáthy Jenő.
Az 1848-as forradalom idején a forradalmi közigazgatás szervét, a városi választmányt igen korán, 1848.
március 25-én létrehozták. Ezen a napon került sor nemzetőrcsapatok toborzásának megkezdésére is.
A dualizmuskori Balassagyarmat előrehaladt a városiasodásban, de mivel a mezővárosi rangot az 1871. évi
községi törvény megszüntette (1886-tól címként is megszűnt), a rendezett tanácsú városi ranghoz szükséges
feltételek biztosítását és a többletadót pedig nem vállalta a település, ezért nagyközséggé alakult, és
1923-ig így működött.
Az Osztrák–Magyar Monarchia idején alakultak ki a település mai szerkezetének alapjai: a főutcán (ma:
Rákóczi fejedelem útja) emelt középületek (megyei és járásbíróság, vármegyeháza stb.) mellett új telepszerű
építkezések (Otthontelep, Tisztviselő- és Vasutas-telep) jöttek létre. Ekkor épült a Nógrád vármegyei Mária
Valéria közkórház (ma Dr. Kenessey Albert Kórház-Rendelőintézet). Balassagyarmat arculatának kialakításában
nagy szerepet játszott Wälder Gyula építész, későbbi műegyetemi tanár. A strandot Hajós Alfréd tervezte. A
városi képtárat, illetve az Államrendőrségi és Csendőrségi Palota épületét Magos (Munk) Dezső, a város
szülötte tervezte.
A dualizmus korának végén Balassagyarmat megyeszékhelyként elsősorban közigazgatási központ, kereskedő-
és tisztviselőváros. Mikszáth Kálmán vármegyei hivatalnok volt itt 1871 és 1873 között.
A település az első világháború és az azt követő forradalmak idején fontos szerepet játszott. A 16.
gyalogezredbe besorozott balassagyarmati és környékbeli katonák elsősorban az orosz frontra kerültek,
különösen a mai Lengyelország területén harcoltak sokan közülük. Nekik állít emléket a 16-os honvéd szobra
a Hősök terén.
1919. január 29-én a megszálló cseh helyőrséget bátor önkéntesekből álló fegyveresek (vasutasok, katonák,
börtönőrök, ipari munkások) visszaszorították az Ipoly túlpartjára, ezt nevezi a helyi köznyelv
csehkiverésnek. Az eseménynek emléktörvény állít emléket, mellyel a Civitas Fortissima (Legbátrabb Város)
kitüntető elnevezést adományozták a városnak, 2009 novemberében pedig a helyi születésű Matúz Gábor filmet
készített róla. A Tanácsköztársaság alatt a vörösök által véghez vitt atrocitások hatására írta meg az
akkor Balassagyarmaton élő Tormay Cécile a Bujdosó könyv című művének egyes fejezeteit.
Balassagyarmat a trianoni békeszerződéssel határvárossá vált. Régi Ipoly-hídját fölrobbantották, csonkjai
ma is láthatók, azóta új híd épült. A folyó folyásának megváltozása miatt az 1999. évi LXXX. tv-nyel
módosítani kellett a határokról szóló szlovák–magyar államközi egyezményt, mivel az államhatár a meder
közepén húzódik.
A település rangja 1923-ig nagyközség, 1923–1929 között rendezett tanácsú város, majd 1929–1950 között
megyei város volt.
A két világháború között a városban töltötte gyermekkorát Tildy Zoltán, és itt élt egy ideig Szabó Lőrinc
a Templom utca 10. szám alatt. 1926-ban idecsatolták a Kóvár Magyarországon maradt határrészéből
alakult Újkóvár községet.
1945 februárjában Földosztó bizottság alakult, amely több mint 11000 családnak osztott földet.
1950-ben Salgótarján vette át a megyeszékhely szerepét, bár a megyei tanács Balassagyarmaton alakult meg
és átmenetileg itt is működött 1952-ig, amíg az új székhelyen megteremtették a működési feltételeket. A
megyeszékhely áthelyezésének szükségességével már a két világháború közötti közigazgatási földrajzi
szakirodalom is foglalkozott, több reformjavaslat is tartalmazta, részletes számításokkal is
alátámasztva. Az 1950-es megyerendezés során Nógrádtól Pest megyéhez csatolták az egykori Hont
vármegye Magyarországon maradt községeinek nagy részét néhány Vác környéki településsel együtt, míg a
megye délkeleti, Heves megyével közös határa a Zagyva folyó völgyéből a Mátra hegyeire került, így a megye
földrajzi – és még inkább a népességi – súlypontja kelet felé tolódott. Egyes megyei szervek később is a
régi helyükön maradtak, a megyei bíróság és ügyészség ma is itt működik. Balassagyarmat - Gyula városával
együtt - azon 2 magyarországi város közé tartozik, ahol városi és megyei szintű bíróság is található, noha
nem megyeszékhely.
Balassagyarmat rangja 1950 és 1954 között közvetlenül a járási tanács alá rendelt város, majd 1971-ig
járási jogú város volt, azóta pedig város. Noha korábbi közigazgatási fontosságát elveszítette, kulturális
ereje továbbra is nagy, amit a városban működő, a népességhez képest nagy számú és kapacitású oktatási
intézmények biztosítanak.
1973-ban itt történt az egész országot megrázó túszdráma, melynek során két fiatalember, Pintye András és
László az egyik leánykollégium (az Angolkisasszonyok egykori intézete) lakóit túszul ejtve megpróbált
külföldre jutni (lásd: Balassagyarmati túszdráma).
1973-tól Balassagyarmathoz tartozott Patvarc és Ipolyszög, az előbbi azonban 1992-ben, az utóbbi pedig
2006-ban ismét önálló községgé alakult. A város 1994 óta a Balassagyarmati kistérség központja, tagja az
Ipoly Eurorégiónak is.