Het fonds was grotendeels inactief tot 1969, toen John M. Olin verontrust was door de overname van Willard Straight Hall aan zijn alma mater, Cornell University. Op 80-jarige leeftijd besloot hij dat hij zijn tijd en middelen moest steken in het behoud van het vrije marktsysteem.
De Foundation is het meest bekend om zijn vroege steun aan en financiering van de beweging van recht en economie, een discipline die op stimulansen gebaseerd denken en kosten-batenanalyse toepast op het gebied van de rechtstheorie. Olin geloofde dat rechtenfaculteiten een onevenredig grote invloed hebben op de samenleving gezien hun omvang en besloot daarom het grootste deel van zijn financiering daarop te richten.
De uitvoerend directeur van de Foundation in zijn beginjaren was de conservatieve activist Michael S. Joyce, die vertrok om de vergelijkbare Bradley Foundation te leiden. William E. Simon, een pionier op het gebied van leverage buy-outs die minister van Financiën was onder de presidenten Richard Nixon en Gerald Ford, was voorzitter van de Foundation van 1977 tot aan zijn dood in 2000. Hij sprak vaak over de verbintenis van de stichting om de “contra-intelligentsia” te steunen. De conservatieve geleerde James Piereson was de laatste uitvoerend directeur en secretaris.
De stichting steunde conservatieve denkers zoals Heather Mac Donald van het Manhattan Institute; Mac Donald is de John M. Olin Fellow aan dit in New York City gevestigde instituut. In 2005 kondigde de stichting haar laatste subsidies aan en sloot haar deuren. De stichting sloot in hetzelfde jaar als de Franklin W. Olin Foundation, die was opgericht door de vader van John Olin, Franklin W. Olin. De Franklin W. Olin Foundation sloot ook om redenen van donorintentie, maar de twee stichtingen waren volledig onafhankelijk en niet verwant, met uitzondering van de familieband van hun oprichters.
Volgens de Philanthropy Roundtable verstrekte de Olin Foundation “honderden miljoenen dollars aan geleerden, denktanks, publicaties en andere organisaties” en “gaf vorm aan de richting en hielp de groei van de moderne conservatieve beweging die voor het eerst zichtbaar werd in de jaren tachtig.” Volgens de New York Observer, verdeelde de Foundation “subsidies aan conservatieve denktanks en intellectuelen – de architecten van de huidige uitgebreide rechtse beweging – gedurende een kwart eeuw.”