Kjøpmann Hans L. Legernæs var initiativtaker og lagets første formann. Turn var eneste aktivitet i tillegg til litt skyting, og så tidlig som i 1904 vart navnet endret til Vestnes turn- og idrettsforening.
Først i 1919 vart det første skirennet arrangert. Etter en dvale på 1920-tallet fikk laget økt aktivitet frem til krigen. Fotball kom med som egen gruppe i 1934 samtidig som den første idrettsplassen i Remmemsråket ble opparbeidet. Også sykkel og alpint kom med som nye idretter.
Dei første handballkampene ble spilt like etter krigen. I tiårene etter var det også aktive grupper i friidrett, bordtennis, svømming og orientering. Den nye idrettsplassen ble åpnet i 1964. Fra 1967 ble fotballgruppen skilt ut og fusjonert med gruppen i Tresfjord IL under navnet Fotballklubben Varfjell.
I 1990 ble det invitert til forhandlinger mellom Vestnes turn- og idrettslag og Varfjell, for å slå disse to lagene sammen. Etter en modningsprosess ble fusjonen gjennomført i 1993. Den nye klubben ble til Vestnes Varfjell Idrettslag.
I 2005 ble det lagt kunstgress i det som nå blir kalt Vestnes idrettspark. I dag har Vestnes Varfjell IL aktiviteter i Fotball, handball, kampsport, sykkel, gymnastikk og turn (Fit4u) og barneidrett.