Valkas šaursliežu dzelzceļa stacija atklāta 1903. gadā ar nosaukumu Valka II, jo tolaik Valkā jau bija platsliežu stacija Valka I (tagadējā Valga). 1886. gadā atklāja dzelzceļa līniju Rīga–Pleskava, bet 1887. gadā izbūvēja atzaru Valka–Tērbata; platsliežu stacijas ēka (Valka I) pabeigta 1889. gadā.
- gadā pēc Latvijas–Igaunijas robežas noteikšanas Valkas platsliežu stacija palika Igaunijas teritorijā, tāpēc Valka II ieguva Valkas stacijas nosaukumu. 1927. gadā stacijas ēka pārbūvēta un paplašināta. 1944. gadā, atkāpjoties, vācu karaspēks izpostīja Valkas–Rūjienas dzelzceļu, kā arī stacijas pārmijas, sliežu ceļus, lokomotīvju depo un remontdarbnīcas.