1947 utmanade Doyle Sugar Ray Robinson om världsmästartiteln i weltervikt. Robinson hade övertaget i alla ronder utom den sjätte, då han vacklade två gånger och fick ett sår över sitt högra öga. En enda vänsterkrok från Robinson, som kastades när Doyle försökte göra en högerkrok, avslutade matchen i den åttonde ronden. Doyle föll baklänges på ryggen, hårt. När domaren började räkna reste sig Doyle upp på armbågarna och försökte använda repen för att komma upp på fötterna, men det gick inte. Klockan som avslutade ronden slog till när domaren räknade av ”nio”, så Doyle räddades från en fullständig knockout av klockan. Hans handläggare bad domaren att avsluta matchen, eftersom Doyle inte var i skick att fortsätta.
Doyle fördes till St Vincent’s Charity Hospital omedelbart efter matchen, där han inte lyckades återfå medvetandet och dog några timmar senare.
Jimmy Doyle kämpade i Cleveland, eftersom den delstatens boxningskommission efter att ha drabbats av några tunga knockouts i Kalifornien inte ville ge honom tillstånd att slåss igen. Efter hans död hotade man med brottsanklagelser mot Robinson i Cleveland, upp till och med dråp, även om ingen av dem faktiskt förverkligades. Robinsons biograf Will Haygood uppgav under ett framträdande på en bokfestival den 25 september 2010 att Doyle pressade sig själv att slåss för att ”köpa ett hus åt sin mor” och efter Doyles död 1947 gav Robinson intäkterna från sina fyra följande matcher till Doyles mor, så att hon kunde köpa det huset.