1947年、ドイルはシュガー・レイ・ロビンソンの世界ウェルター級王座に挑戦した。 6ラウンドで2度よろめき、右目をカットした以外はすべてロビンソンが優勢だった。 第8ラウンド、ドイルの右フックに合わせてロビンソンが放った左フック一発で試合は終了した。 ドイルは激しく後方に倒れ込んだ。 レフェリーがカウントを始めると、ドイルは肘をついて体を起こし、ロープを使って立ち上がろうとしたが、立ち上がれなかった。 レフェリーが「9」を数えたところでラウンド終了のゴングが鳴ったので、ドイルは完全なノックアウトから救われた。
ドイルは試合後すぐにセント・ヴィンセント・チャリティー病院に運ばれたが、意識が戻らず、数時間後に死亡した。
ジミー・ドイルがクリーブランドで戦っていたのは、カリフォルニアで激しいノックアウトを食らった後、同州のボクシングコミッションが再戦を認めなかったからである。 彼の死後、クリーブランドではロビンソンに対して過失致死罪などの刑事告訴が予告されたが、実際には実現しなかった。 ロビンソンの伝記作家ウィル・ヘイグッドは、2010年9月25日のブックフェスティバルで、ドイルは「母親に家を買ってあげる」ために無理をして戦っていたと述べ、1947年にドイルが亡くなった後、ロビンソンは次の4試合の収益をドイルの母親に渡し、彼女が家を買うことができるようにしたと語っている
。