1947-ben Doyle kihívta Sugar Ray Robinsont a váltósúlyú világbajnoki címért. Robinson minden menetben előnyben volt, kivéve a hatodikat, amikor kétszer is megtántorodott és vágást kapott a jobb szeme fölött. A nyolcadik menetben Robinson egyetlen balhorga vetett véget a küzdelemnek, amikor Doyle egy jobbhoroggal próbálkozott. Doyle hanyatt esett, keményen a hátára. Amikor a bíró számolni kezdett, Doyle a könyökére emelte magát, és a kötelek segítségével próbált talpra állni, de nem sikerült. A menetet lezáró gong akkor szólalt meg, amikor a bíró “kilencet” számolt, így Doyle-t megmentette a teljes kiütéstől a gong. Kezelői arra kérték a bírót, hogy fejezze be a mérkőzést, mivel Doyle nem volt olyan állapotban, hogy folytatni tudja.
Doyle-t a mérkőzés után azonnal a St. Vincent’s Charity Hospitalba szállították, ahol nem tért magához, és néhány órával később meghalt.
Jimmy Doyle Clevelandben bokszolt, mivel miután Kaliforniában súlyos kiütéseket szenvedett, annak az államnak a bokszbizottsága nem engedélyezte, hogy újra bokszoljon. Halála után Clevelandben büntetőjogi vádakkal fenyegették meg Robinsont, egészen az emberölésig, bár valójában egyik sem valósult meg. Robinson életrajzírója, Will Haygood egy 2010. szeptember 25-i könyvfesztiválos szereplés során kijelentette, hogy Doyle azért erőltette a bokszot, hogy “vegyen az anyjának egy házat”, és Doyle 1947-ben bekövetkezett halála után Robinson a következő négy mérkőzésének bevételét Doyle anyjának adta, hogy az meg tudja venni azt a házat.