Veltman studeerde technische natuurkunde aan de Technische Hogeschool Delft. Hij vervolgde zijn wetenschappelijke carrière in dezelfde stad en werkte een jaar aan het Massachusetts Institute of Technology (MIT). In 1968 werd hij buitengewoon hoogleraar technische natuurkunde aan de Universiteit Utrecht. Daarna volgde het hoogleraarschap aan de Technische Universiteit Delft. Van 1981 tot 1985 was hij er rector magnificus. In 1988 werd Veltman benoemd tot ridder in de Orde van de Nederlandse Leeuw.
Begin jaren negentig kwam Veltman naar Twente, waar hij als collegevoorzitter van 1992 tot 1997 aan het roer van de UT kwam te staan. In zijn bestuursperiode probeerde hij de UT ook buiten de campus op de kaart te zetten. Veltman wilde meer openheid en bevorderde de trek van de campus naar de stad. Zo stond hij als collegevoorzitter onder meer aan de wieg van studentensociëteit de Pakkerij, die in 1995 officieel werd geopend.
Tot zijn pensioen was Veltman voorzitter van de UT. Zijn opvolging leidde tot consternatie toen het UT-bestuur op aandringen van onderwijsminister Ritzen de verspreiding van het UT-Nieuws (de voorloper van U-Today) probeerde te voorkomen, omdat hierin een publicatie stond over Veltmans beoogde opvolger: de Twentse politiechef Peter IJzerman. Uiteindelijk is het blad wel verspreid en werd niet IJzerman, maar oud-politicus Arie van der Hek de opvolger van Veltman.
Na zijn pensioen wilde de zeilfanaat Veltman een wereldreis maken, maar al na twee weken keerde hij terug naar Nederland voor een nieuwe taak als voorzitter van de Adviesraad voor het wetenschaps- en technologiebeleid (AWT), een functie die hij tot 2003 vervulde.