John Ruskin var Oscar Wildes første valg som gudfar til Vyvyan, men han afviste på grund af sin alder. Wilde henvendte sig til Mortimer Menpes, som accepterede. Ifølge Vyvyan Hollands beretninger i sin selvbiografi, Son of Oscar Wilde (1954), var Oscar en hengiven og kærlig far for sine to sønner, og deres barndom var forholdsvis lykkelig.
Efter 1895, da Wilde blev dømt for “grov uanstændighed” og fængslet, ændrede Constance sit efternavn og deres sønners efternavn til Holland. Hun tvang Wilde til at opgive sine forældrerettigheder.
Hun flyttede med drengene til Schweiz og indskrev dem i en engelsktalende kostskole i Tyskland. Vyvyan var ulykkelig der. På grund af dette, men også for at forbedre sikkerheden, blev Vyvyan flyttet til en jesuitterskole i Monaco. Han konverterede til katolicismen og gik efterfølgende på Stonyhurst College i England, en offentlig skole, der også blev ledet af jesuitter. Hans bror Cyril blev på skolen i Tyskland.
Da Constance døde i 1898, søgte hendes slægtninge juridisk rådgivning for at forhindre Oscar Wilde i at se sine sønner igen. Wilde døde i 1900.
Vyvyan studerede jura på Trinity Hall på universitetet i Cambridge fra 1905, men blev træt af sine studier og forlod Cambridge i 1907. Den 20. juli 1909 ledsagede han sin fars ven Robert Ross for at overvære genbegravelsen af hans fars jordiske rester fra Bagneux-kirkegården til Père Lachaise-kirkegården i Paris.
Holland genoptog sit jurastudium som 22-årig og blev optaget som advokat i England og Wales af Inner Temple i 1912. Han begyndte også at skrive digte og noveller.
Holland blev gift med Violet Mary Craigie i 1913. Hun døde 15. oktober 1918 på Westminster Hospital, Middlesex, af kvæstelser ved en brand.
Da Første Verdenskrig startede i 1914, blev Holland udnævnt til sekondløjtnant i tolkekorpset. Han blev senere overført til 114 Battery, XXV Bde Royal Field Artillery. Han blev demobiliseret den 27. juli 1919 og blev tildelt en OBE. Hans bror Cyril var blevet dræbt af en tysk snigskytte den 9. maj 1915 under slaget ved Festubert i Frankrig.
Holland blev forfatter og oversætter. I begyndelsen af Anden Verdenskrig blev han tilbudt en stilling som oversætter og redaktør for BBC, en stilling, som han havde i seks år. I september 1943 giftede han sig med sin anden hustru, Dorothy Thelma Helen Besant, en oldebarnniece af Annie Besant. Hun var født i Australien og var flyttet til London. Deres eneste barn, Merlin Holland, blev født i London i 1945. Merlin blev forlægger, forhandler af glas og keramik og forfatter. Han foretog omfattende forskning om sin farfars farfar Wilde, og han har redigeret, skrevet og udgivet flere værker om ham.
I 1947 rejste Holland og hans kone til Australien og New Zealand, hvor hun var blevet inviteret til at holde foredrag om moderigtig påklædning i 1800-tallets Australien. Parret boede i Melbourne fra 1948 til 1952.
I 1954, efter at være vendt tilbage til England, udgav Holland en selvbiografi med titlen Son of Oscar Wilde.
Vyvyan Holland døde i London i 1967 i en alder af 80 år.