Nel 1947, Doyle sfidò Sugar Ray Robinson per il titolo mondiale dei pesi welter. Robinson era in vantaggio in ogni round, tranne che al sesto, quando fu fatto barcollare due volte e ricevette un taglio sopra l’occhio destro. Un singolo gancio sinistro di Robinson, lanciato mentre Doyle stava tentando un gancio destro, mise fine all’incontro all’ottavo round. Doyle cadde all’indietro sulla schiena, duramente. Mentre l’arbitro cominciava a contare, Doyle si sollevò sui gomiti e cercò di usare le corde per rimettersi in piedi, ma non ci riuscì. La campana che terminava il round suonò mentre l’arbitro contava il “nove”, così Doyle fu salvato da un completo knock out dalla campana. I suoi responsabili chiesero all’arbitro di terminare l’incontro, dato che Doyle non era in condizioni di continuare.
Doyle fu portato al St. Vincent’s Charity Hospital subito dopo l’incontro, dove non riuscì a riprendere conoscenza e morì poche ore dopo.
Jimmy Doyle stava combattendo a Cleveland, poiché dopo aver subito alcuni pesanti ko in California la commissione pugilistica di quello stato non lo avrebbe autorizzato a combattere di nuovo. Dopo la sua morte, a Cleveland furono minacciate accuse penali contro Robinson, fino all’omicidio colposo, anche se nessuna si concretizzò. Il biografo di Robinson, Will Haygood, ha dichiarato durante un’apparizione al festival del libro del 25 settembre 2010 che Doyle si spingeva a combattere per “comprare una casa a sua madre” e dopo la morte di Doyle nel 1947, Robinson diede i guadagni dei suoi prossimi quattro combattimenti alla madre di Doyle, in modo che potesse comprare quella casa.