I 1947 udfordrede Doyle Sugar Ray Robinson i kampen om verdensmesterskabet i weltervægt. Robinson havde fordelen i alle runder undtagen den sjette, hvor han blev forvildet to gange og fik et snit over sit højre øje. Et enkelt venstre hook fra Robinson, der blev kastet, da Doyle forsøgte et højre hook, afsluttede kampen i ottende omgang. Doyle faldt hårdt bagover på ryggen. Da dommeren begyndte at tælle, rejste Doyle sig op på albuerne og forsøgte at bruge rebene til at komme på benene, men det lykkedes ham ikke. Klokken, der afsluttede runden, slog til, da dommeren talte “ni”, så Doyle blev reddet fra en fuldstændig knockout af klokken. Hans behandlere bad dommeren om at afslutte kampen, da Doyle ikke var i stand til at fortsætte.
Doyle blev bragt til St. Vincent’s Charity Hospital umiddelbart efter kampen, hvor han ikke kom til bevidsthed igen og døde et par timer senere.
Jimmy Doyle kæmpede i Cleveland, da denne stats boksekommission efter at have lidt nogle tunge knockouts i Californien ikke ville godkende ham til at kæmpe igen. Efter hans død blev der truet med kriminelle anklager mod Robinson i Cleveland, op til og med manddrab, men ingen af dem blev faktisk ført ud i livet. Robinsons biograf Will Haygood udtalte under en optræden på en bogfestival den 25. september 2010, at Doyle pressede sig selv til at kæmpe for at “købe et hus til sin mor”, og efter Doyles død i 1947 gav Robinson indtjeningen fra sine næste fire kampe til Doyles mor, så hun kunne købe dette hus.