Fonden var i stort sett inaktiv fram till 1969, då John M. Olin stördes av Willard Straight Halls övertagande vid hans alma mater, Cornell University. Vid 80 års ålder bestämde han sig för att han måste ägna sin tid och sina resurser åt att bevara det fria marknadssystemet.
Fonden är mest känd för sitt tidiga stöd och sin finansiering av rörelsen för juridik och ekonomi, en disciplin som tillämpar incitamentsbaserat tänkande och kostnads-nyttoanalyser på området för juridisk teori. Olin ansåg att juristutbildningarna har en oproportionerligt stor inverkan på samhället med tanke på deras storlek och bestämde sig därför för att koncentrera majoriteten av sin finansiering dit.
Stiftelsens verkställande direktör under de tidiga åren var den konservativa aktivisten Michael S. Joyce, som lämnade stiftelsen för att leda den liknande Bradley Foundation. William E. Simon, som var en pionjär inom utköp med hävstångseffekt och Förenta staternas finansminister under presidenterna Richard Nixon och Gerald Ford, var ordförande för stiftelsen från 1977 till sin död år 2000. Han diskuterade ofta stiftelsens engagemang för att stödja ”counter-intelligentsia”. Den konservativa forskaren James Piereson var den sista verkställande direktören och sekreteraren.
Stiftelsen stödde konservativa tänkare som Heather Mac Donald från Manhattan Institute; Mac Donald är John M. Olin Fellow vid denna New York-baserade institution. År 2005 tillkännagav stiftelsen, i enlighet med långvariga planer, sina sista bidrag och stängde sina dörrar. Stiftelsen stängdes samma år som Franklin W. Olin Foundation, som grundades av John Olins far, Franklin W. Olin. Franklin W. Olin Foundation stängde också av skäl som berodde på donatorernas avsikt, men de två stiftelserna var helt oberoende och inte relaterade till varandra, med undantag för deras grundares familjeband.
Enligt Philanthropy Roundtable ”delade Olin Foundation ut hundratals miljoner dollar till forskare, tankesmedjor, publikationer och andra organisationer” och ”formade inriktningen på och hjälpte till med tillväxten av den moderna konservativa rörelsen, som först blev synlig på 1980-talet”. Enligt New York Observer delade stiftelsen ut ”bidrag till konservativa tankesmedjor och intellektuella – arkitekterna av dagens spretiga högerrörelse – under ett kvarts sekel”
.