Lærer Skolmen skjønte snart hvilken begavet elev han hadde i klasse sin. Men guttungen måtte begynne i Kongsberg Våpenfabrikk etter at han gikk ut av folkeskolen i 1906. På fritiden benyttet han mesteparten av tiden på å tegne og male, helst dyr. Kaptein Cranner i Våpenfabrikken mente at unge Gundersen fikk slutte med å kaste bort verdifull tid i Våpenfabrikken og heller bli kunstner på heltid.

Etter en tid fant et av Gundersens malerier veien til Christiania, hvor en kunstmaler fikk tak i det. Han viste bildet til selveste Christian Krohg. «... den manden som har malt det der, skulde jeg ha moro av at få tak i», sa Krohg. Og Krohg fikk tak i Gundersen, som ble hos mesteren i halvannet år. I 1911 sørget Krohg for at den unge kunstnerspiren fikk friplass på Kunstakademiet, uten tegneskole.

Kunsthandler Blomquist i Oslo likte særlig dyrebildene til Gundersen. Han kjøpte mange av dem til sin private samling og solgte også Gundersens bilder i forretning sin.

Det gikk den rette veien for Gundersen. Nå, da han var etablert som kunster ville han vise hjembyens innbyggere hva han var god for. De visste jo at han etter hvert var blitt en kjent kunster. Det kunne de lese seg til i lokalpressen. Den 30. januar 1922 sto følgende i Lp: «Herman Gundersen har til hensigt at holde en større utstilling av sine arbeider her i byen om et par maaneders tid. Utstillingen vil omfatte omkring 100 arbeider, hvorav halvparten malerier og resten tegninger og litografier. Man har altsaa noget at glæde sig til.»

I midten av mars dette året begynte påbygget av en tredje etasje på rådhuset i Myntgata å bli ferdig, og det var på tide å engasjere en kunstner til utsmykkingen. I den forbindelse ble Gundersen nevnt, men det var bergmannen til billedhugger Samuelsen som ble valgt. Bergmannen ble senere flyttet ut av bystyresalen og har stått foran Bergverksmuseet siden 1949.

Den 28. april var Herman Gundersen helt klar på at han ville holde utstilling i hjembyen, men hadde ennå ikke klart å skaffe et egnet utstillingslokale. Jobben med å samle inn arbeider solgt til private samlere hadde gått greit. «Utstillingen vil omfatte henimot 100 arbeider og byr paa megen fin kunst.»

Gundersen kom i mål med utstilling sin. Og fredag 5. mai klokka fem åpnet den i «Vestsiden gymnastiklokale – en meget stor utstilling som fylder hele den store sal. Det er første gang Gundersen stiller ut i sin fødeby og da autoriteter har uttalt at han er en av de ypperste dyremalere i vort land, blir utstillingen en begivenhet for vor by. Og bør sees av alle», skrev Laagendalsposten.

I annonsen sto det at kunstutstillingen besto av malerier, tegninger og akvareller, og at de fleste arbeidene tidligere hadde vært stilt ut på Statens kunstutstilling i Kristiania. Det kostet ei krone for voksne og 50 øre for barn å få tilgang til Kongsbergs store kunstners utstilling.

Den 8. mai 1922 ble Gundersen intervjuet av en som kalte seg Kunstbeundreren. I dette intervjuet får vi vite at det i alt var 700 som besøkte utstillingen, noe kunstneren var veldig fornøyd med. Men hadde han solgt noe? «Endnu er intet definitivt salg avgjort, men jeg har da hat endel forespørsler ...».

Kunstmaler Gundersen lukket dørene søndag kveld, men åpnet utstillingen igjen lørdagen og søndagen etter. Men selv ikke da var publikum fornøyde, så utstillingen åpnet igjen på selveste 17. mai. Da var det slutt.