V roce 1947 vyzval Doyle Sugar Raye Robinsona na souboj o titul mistra světa ve velterové váze. Robinson měl převahu v každém kole kromě šestého, kdy byl dvakrát omráčen a dostal ránu nad pravým okem. Jediný Robinsonův levý hák, vržený ve chvíli, kdy se Doyle pokoušel o pravý hák, ukončil zápas v osmém kole. Doyle tvrdě dopadl na záda. Když rozhodčí začal počítat, Doyle se zvedl na lokty a snažil se pomocí provazů dostat na nohy, ale nepodařilo se mu to. Zvonek ukončující kolo zazněl ve chvíli, kdy rozhodčí odpočítával „devět“, takže Doyle byl gongem zachráněn před úplným vyřazením. Jeho ošetřovatelé požádali rozhodčího, aby zápas ukončil, protože Doyle nebyl ve stavu, kdy by mohl pokračovat.
Doyle byl ihned po zápase převezen do charitativní nemocnice svatého Vincenta, kde se mu nepodařilo nabýt vědomí a o několik hodin později zemřel.
Jimmy Doyle zápasil v Clevelandu, protože poté, co utrpěl několik těžkých knockoutů v Kalifornii, mu boxerská komise tohoto státu nedala povolení k dalšímu zápasu. Po jeho smrti hrozilo v Clevelandu Robinsonovi obvinění z trestného činu, a to až z neúmyslného zabití, i když k žádnému ve skutečnosti nedošlo. Robinsonův životopisec Will Haygood během vystoupení na knižním festivalu 25. září 2010 uvedl, že Doyle se tlačil do zápasů, aby „koupil své matce dům“, a po Doylově smrti v roce 1947 Robinson věnoval výdělky ze svých dalších čtyř zápasů Doylově matce, aby si mohla tento dům koupit.