Im Jahr 1947 kämpfte Doyle gegen Sugar Ray Robinson um den Welttitel im Weltergewicht. Robinson war in jeder Runde im Vorteil, außer in der sechsten, als er zweimal ins Taumeln geriet und einen Cut über seinem rechten Auge erlitt. Ein einziger linker Haken von Robinson, der geworfen wurde, als Doyle gerade einen rechten Haken versuchte, beendete den Kampf in der achten Runde. Doyle fiel rückwärts auf den Rücken, hart. Als der Ringrichter mit dem Zählen begann, stützte sich Doyle auf seine Ellbogen und versuchte, über die Seile wieder auf die Beine zu kommen, was ihm jedoch nicht gelang. Die Glocke, die die Runde beendete, schlug an, als der Ringrichter die „Neun“ abzählte, so dass Doyle durch die Glocke vor einem vollständigen K.o. bewahrt wurde. Seine Betreuer baten den Ringrichter, den Kampf zu beenden, da Doyle nicht mehr in der Lage war, weiterzumachen.
Doyle wurde unmittelbar nach dem Kampf ins St. Vincent’s Charity Hospital gebracht, wo er das Bewusstsein nicht wiedererlangte und einige Stunden später starb.
Jimmy Doyle kämpfte in Cleveland, da die Boxkommission des Staates Kalifornien ihm nach einigen schweren K.o.-Schlägen keine weiteren Kämpfe genehmigen wollte. Nach seinem Tod wurde Robinson in Cleveland eine Strafanzeige angedroht, die bis zum Totschlag reichte, die aber nicht zustande kam. Robinsons Biograf Will Haygood erklärte während eines Auftritts bei einem Buchfestival am 25. September 2010, dass Doyle sich dazu drängte, zu kämpfen, um „seiner Mutter ein Haus zu kaufen“, und dass Robinson nach Doyles Tod im Jahr 1947 die Einnahmen seiner nächsten vier Kämpfe an Doyles Mutter gab, damit sie dieses Haus kaufen konnte.