In 1947 daagde Doyle Sugar Ray Robinson uit voor de wereldtitel weltergewicht. Robinson was in elke ronde in het voordeel, behalve in de zesde, toen hij twee keer wankelde en een snee boven zijn rechteroog opliep. Een enkele linkse hoek van Robinson, gegooid toen Doyle een rechtse hoek probeerde, beëindigde het gevecht in de achtste ronde. Doyle viel achterover op zijn rug, hard. Terwijl de scheidsrechter begon te tellen, richtte Doyle zich op zijn ellebogen en probeerde via de touwen overeind te komen, maar dat lukte hem niet. De bel die de ronde beëindigde sloeg toen de scheidsrechter ‘negen’ aftelde, dus Doyle werd door de bel gered van een volledige knock-out. Zijn begeleiders vroegen de scheidsrechter om de wedstrijd te beëindigen, omdat Doyle niet in staat was om door te gaan.
Doyle werd onmiddellijk na de wedstrijd naar het St. Vincent’s Charity Hospital gebracht, waar hij er niet in slaagde om weer bij bewustzijn te komen en een paar uur later overleed.
Jimmy Doyle vocht in Cleveland, omdat na enkele zware knock-outs in Californië de bokscommissie van die staat hem geen toestemming wilde geven om opnieuw te vechten. Na zijn dood werd er in Cleveland gedreigd met strafrechtelijke aanklachten tegen Robinson, tot en met doodslag toe, hoewel er geen enkele tot stand kwam. Robinson’s biograaf Will Haygood verklaarde tijdens een optreden op het boekenfestival op 25 september 2010 dat Doyle zichzelf pushte om te vechten om “een huis voor zijn moeder te kopen” en na Doyle’s dood in 1947 gaf Robinson de winst van zijn volgende vier gevechten aan Doyle’s moeder, zodat ze dat huis kon kopen.