Vuonna 1947 Doyle haastoi Sugar Ray Robinsonin maailmanmestaruudesta suursarjan sarjassa. Robinson oli etulyöntiasemassa jokaisessa erässä paitsi kuudennessa, jolloin hän horjahti kahdesti ja sai viillon oikean silmänsä kohdalle. Robinsonin yksittäinen vasen koukku, joka heitettiin, kun Doyle yritti oikeaa koukkua, päätti ottelun kahdeksannessa erässä. Doyle kaatui kovaa selälleen. Kun tuomari alkoi laskea, Doyle nosti itsensä kyynärpäilleen ja yritti köysien avulla nousta jaloilleen, mutta ei onnistunut. Erän päättävä kello soi, kun erotuomari laski ”yhdeksän”, joten kello pelasti Doylen täydelliseltä tyrmäykseltä. Hänen huoltajansa pyysivät tuomaria lopettamaan ottelun, sillä Doyle ei ollut siinä kunnossa, että olisi voinut jatkaa.
Doyle vietiin St. Vincent’s Charity Hospitaliin heti ottelun jälkeen, jossa hän ei päässyt tajuihinsa ja kuoli muutamaa tuntia myöhemmin.
Jimmy Doyle otteli Clevelandissa, sillä kärsittyään muutaman kovan tyrmäystappion Kaliforniassa kyseisen osavaltion nyrkkeilykomissio ei sallinut hänen otella uudelleen. Kuoleman jälkeen Robinsonia vastaan uhattiin Clevelandissa rikossyytteillä, jopa taposta, vaikkei niitä oikeastaan syntynytkään. Robinsonin elämäkerran kirjoittaja Will Haygood totesi 25. syyskuuta 2010 kirjafestivaaleilla esiintyessään, että Doyle patisti itseään nyrkkeilemään ”ostaakseen äidilleen talon”, ja Doylen kuoltua vuonna 1947 Robinson antoi neljän seuraavan ottelunsa tuotot Doylen äidille, jotta tämä voisi ostaa kyseisen talon.