Fundusz był w dużej mierze nieaktywny aż do 1969 roku, kiedy to John M. Olin został zaniepokojony przejęciem Willard Straight Hall w swojej macierzystej uczelni, Cornell University. W wieku 80 lat zdecydował, że musi poświęcić swój czas i środki na zachowanie systemu wolnorynkowego.
Fundacja jest najbardziej godna uwagi ze względu na jej wczesne wsparcie i finansowanie ruchu prawa i ekonomii, dyscypliny, która stosuje myślenie motywacyjne oraz analizę kosztów i korzyści w dziedzinie teorii prawa. Olin wierzył, że szkoły prawnicze mają nieproporcjonalnie duży wpływ na społeczeństwo, biorąc pod uwagę ich wielkość i w tym celu postanowił skupić większość swoich funduszy tam.
Dyrektorem wykonawczym Fundacji w jej wczesnych latach był konserwatywny działacz Michael S. Joyce, który odszedł, aby kierować podobną Bradley Foundation. William E. Simon, pionier wykupu lewarowanego, który był Sekretarzem Skarbu Stanów Zjednoczonych za czasów prezydentów Richarda Nixona i Geralda Forda, był prezesem Fundacji od 1977 roku do swojej śmierci w 2000 roku. Często mówił o zaangażowaniu fundacji we wspieranie „kontrwywiadu”. Konserwatywny uczony James Piereson był ostatnim dyrektorem wykonawczym i sekretarzem.
Fundacja wspierała konserwatywnych myślicieli, takich jak Heather Mac Donald z Manhattan Institute; Mac Donald jest John M. Olin Fellow w tej nowojorskiej instytucji. W 2005 roku, zgodnie z wieloletnimi planami, fundacja ogłosiła przyznanie ostatnich dotacji i zamknęła swoje podwoje. Fundacja została zamknięta w tym samym roku, co Fundacja Franklina W. Olina, założona przez ojca Johna Olina, Franklina W. Olina. Fundacja Franklina W. Olina również została zamknięta ze względu na intencje darczyńców, ale obie fundacje były całkowicie niezależne i niepowiązane ze sobą, z wyjątkiem rodzinnych powiązań ich założycieli.
Według Philanthropy Roundtable, Fundacja Olina „przekazała setki milionów dolarów naukowcom, ośrodkom analitycznym, publikacjom i innym organizacjom” oraz „ukształtowała kierunek i wspomogła rozwój nowoczesnego ruchu konserwatywnego, który po raz pierwszy stał się widoczny w latach osiemdziesiątych”. Według New York Observer, Fundacja przez ćwierć wieku rozdzielała „dotacje dla konserwatywnych think tanków i intelektualistów – architektów dzisiejszego rozrastającego się ruchu prawicowego.”