O fundo esteve em grande parte inactivo até 1969, quando John M. Olin foi perturbado pela aquisição do Willard Straight Hall na sua alma mater, Cornell University. Aos 80 anos de idade, ele decidiu que deveria dedicar seu tempo e recursos à preservação do sistema de livre mercado.
A Fundação é mais notável por seu apoio e financiamento precoce do movimento jurídico e econômico, uma disciplina que aplica o pensamento baseado em incentivos e análise de custo-benefício ao campo da teoria jurídica. Olin acreditava que as escolas de direito têm um impacto desproporcionalmente grande na sociedade, dado o seu tamanho, e para isso decidiu concentrar a maior parte do seu financiamento lá.
O diretor executivo da Fundação nos seus primeiros anos foi o ativista conservador Michael S. Joyce, que saiu para dirigir a similar Fundação Bradley. William E. Simon, um pioneiro da compra de influência que foi secretário do Tesouro dos Estados Unidos sob os presidentes Richard Nixon e Gerald Ford, foi presidente da Fundação desde 1977 até a sua morte em 2000. Ele discutia frequentemente o compromisso da fundação em apoiar a “contra-inteligência”. O estudioso conservador James Piereson foi o último diretor executivo e secretário.
A fundação apoiou pensadores conservadores como Heather Mac Donald do Instituto Manhattan; Mac Donald é o John M. Olin Fellow desta instituição sediada em Nova York. Em 2005, seguindo planos de longa data, a fundação anunciou suas doações finais e fechou suas portas. A fundação fechou no mesmo ano que a Franklin W. Olin Foundation, que foi criada pelo pai de John Olin, Franklin W. Olin. A Fundação Franklin W. Olin também fechou por razões de intenção de doação, mas as duas fundações eram totalmente independentes e não relacionadas, exceto pela conexão familiar de seus fundadores.
De acordo com a Mesa Redonda de Filantropia, a Fundação Olin “distribuiu centenas de milhões de dólares a acadêmicos, grupos de reflexão, publicações e outras organizações” e “moldou a direção e ajudou o crescimento do movimento conservador moderno que surgiu pela primeira vez na década de 1980”. De acordo com o New York Observer, a Fundação distribuiu “subsídios a grupos de reflexão e intelectuais conservadores – os arquitectos do movimento de direita de hoje – por um quarto de século”