Fonden var stort set inaktiv indtil 1969, hvor John M. Olin blev forstyrret af overtagelsen af Willard Straight Hall på sin alma mater, Cornell University. I en alder af 80 år besluttede han, at han måtte bruge sin tid og sine ressourcer på at bevare det frie markedssystem.
Fonden er mest kendt for sin tidlige støtte og finansiering af den juridiske og økonomiske bevægelse, en disciplin, der anvender incitamentsbaseret tænkning og cost-benefit-analyse på det juridiske teoriområde. Olin mente, at jurastudier har en uforholdsmæssig stor indflydelse på samfundet i betragtning af deres størrelse og besluttede derfor at koncentrere størstedelen af sin finansiering der.
Den administrerende direktør for fonden i dens tidlige år var den konservative aktivist Michael S. Joyce, som forlod den for at lede den lignende Bradley Foundation. William E. Simon, der var en pioner inden for leverage buyout, og som var USA’s finansminister under præsidenterne Richard Nixon og Gerald Ford, var formand for fonden fra 1977 til sin død i 2000. Han talte ofte om fondens engagement i at støtte “counter-intelligentsia”. Den konservative forsker James Piereson var den sidste administrerende direktør og sekretær.
Stiftelsen støttede konservative tænkere som Heather Mac Donald fra Manhattan Institute; Mac Donald er John M. Olin Fellow ved denne institution i New York City. I 2005 annoncerede fonden efter langvarige planer sine sidste bevillinger og lukkede sine døre. Fonden lukkede samme år som Franklin W. Olin Foundation, som blev oprettet af John Olins far, Franklin W. Olin. Franklin W. Olin Foundation lukkede også af hensyn til donorhensyn, men de to fonde var helt uafhængige og ikke relateret til hinanden, bortset fra deres grundlæggeres familiebånd.
I følge Philanthropy Roundtable “uddelte Olin Foundation hundredvis af millioner af dollars til forskere, tænketanke, publikationer og andre organisationer” og “formede retningen og hjalp væksten af den moderne konservative bevægelse, som først blev synlig i 1980’erne”. Ifølge New York Observer uddelte fonden i et kvart århundrede “tilskud til konservative tænketanke og intellektuelle – arkitekterne bag nutidens vidtforgrenede højrefløjsbevægelse.”