Ennen veteraani-sanan vakiintumista käytettiin nimitystä sotavanhus. 1850-luvun lopulla huomattiin, että vuosina 1808−1809 käytyyn Suomen sotaan osallistuneista miehistä oli vielä elossa ainakin 250, ja heistä monien taloudellinen asema oli heikko. Heille kerättiin rahaa järjestämällä erilaisia tilaisuuksia ja painattamalla lehtisiä myytäviksi. Esimerkiksi Johan Ludvig Runebergin runoa ”Porilaisten marssi” myytiin sotavanhusten hyväksi.
Veteraani-sana on tullut suomen kirjakieleen 1880-luvun alussa. Silloin se viittasi etenkin Suomen sodan veteraaneihin, mutta sitä käytettiin myös muilla elämänaloilla pitkän uran tehneistä henkilöistä, esimerkiksi yhteiskunnallisista vaikuttajista tai taiteilijoista.
Ensimmäisessä suomalaisessa sivistyssanakirjassa vuonna 1890 veteraani määriteltiin vanhaksi, karaistuneeksi sotamieheksi. Lisäksi ilmoitettiin, että sana juontuu latinan adjektiivista vetus, joka tarkoittaa vanhaa.
Antiikin Roomassa nimitystä veteranus käytettiin pitkän palvelusuran päättäneestä sotilaasta. Jouluevankeliumista tuttu keisari Augustus piti hyvää huolta entisistä sotilaistaan, osti heille maata, perusti kotiuttamisrahaston ja maksoi palkkioita eläkepäivien turvaksi. Armeijan apujoukkojen jäsenet saivat palkkioksi Rooman kansalaisuuden.
Latinan veteranus on kieliopilliselta suvultaan maskuliininen sana, ja se viittaa selvästi miehiin. Suomen kieli on siinä mielessä tasa-arvoinen, ettei siinä ole kieliopillisia sukuja. Näin ollen samoja nimityksiä voidaan käyttää sukupuolesta riippumatta. Esimerkiksi politiikan ja urheilun alalta löytyy esimerkkejä siitä, että veteraani voi yhtä hyvin olla nainen kuin mieskin. Puhutaan jopa veteraaniautoista, kun tarkoitetaan vanhoja autoja, jotka ovat edelleen ajokelpoisia ja hyvässä kunnossa.