W 1947 roku, Doyle wyzwał Sugar Ray Robinsona do walki o tytuł World Welterweight Title. Robinson miał przewagę w każdej rundzie z wyjątkiem szóstej, kiedy to został dwukrotnie zastopowany i otrzymał rozcięcie nad prawym okiem. Pojedynczy lewy sierpowy Robinsona, zadany w momencie, gdy Doyle próbował wyprowadzić prawy sierpowy, zakończył walkę w ósmej rundzie. Doyle ciężko upadł do tyłu na plecy. Gdy sędzia zaczął liczyć, Doyle podniósł się na łokciach i próbował wykorzystać liny, by stanąć na nogi, ale nie udało mu się. Dzwonek kończący rundę uderzył w momencie, gdy sędzia odliczył „dziewięć”, więc Doyle’a przed całkowitym znokautowaniem uchronił gong. Jego opiekunowie poprosili sędziego o zakończenie meczu, ponieważ Doyle nie był w stanie kontynuować walki.
Doyle został zabrany do szpitala St. Vincent’s Charity zaraz po walce, gdzie nie odzyskał przytomności i zmarł kilka godzin później.
Jimmy Doyle walczył w Cleveland, ponieważ po doznaniu kilku ciężkich nokautów w Kalifornii, stanowa komisja bokserska nie zezwoliła mu na ponowną walkę. Po jego śmierci, zarzuty karne zostały zagrożone przeciwko Robinsonowi w Cleveland, do nieumyślnego spowodowania śmierci włącznie, choć żaden faktycznie nie zmaterializował się. Biograf Robinsona, Will Haygood, stwierdził podczas festiwalu książki 25 września 2010 r., że Doyle zmuszał się do walki, aby „kupić matce dom”, a po śmierci Doyle’a w 1947 r. Robinson przekazał zarobki ze swoich kolejnych czterech walk matce Doyle’a, aby mogła kupić ten dom.