คารัทเธอร์เคยชกมวยสากลสมัครเล่นติดทีมชาติออสเตรเลียเข้าแข่งขันกีฬาโอลิมปิก พ.ศ. 2491 ที่ลอนดอน และชกชนะในรอบแรกและรอบที่สอง แต่เมื่อรอบ 8 คนสุดท้าย คารัทเธอร์ต้องถอนตัวเพราะอาการบาดเจ็บที่ตาจากการชกในรอบที่สอง คารัทเธอร์หันมาชกมวยสากลอาชีพเมื่อ พ.ศ. 2493 และได้ครองแชมป์ออสเตรเลียรุ่นแบนตัมเวทใน พ.ศ. 2494 แชมป์เครือจักรภพอังกฤษใน พ.ศ. 2495 และได้รับการยอมรับจากสมาคมมวยนานาชาติ (ต่อมาคือสมาคมมวยโลก) ให้เป็นแชมป์โลกรุ่นแบนตัมเวท ทำให้กลายเป็นแชมป์โลกคนแรกของออสเตรเลีย และชกป้องกันตำแหน่งได้หลายครั้ง

การป้องกันตำแหน่งครั้งสุดท้ายของคารัทเธอร์มมีขึ้นที่กรุงเทพฯ กับผู้ท้าชิงชาวไทย จำเริญ ทรงกิตรัตน์ การชกครั้งนี้ที่จัดที่สนามกีฬาจารุเสถียร (บางข้อมูลระบุว่าเป็นสนามศุภชลาศัย[1]) เมื่อวันที่ 2 พฤษภาคม พ.ศ. 2497 เป็นสนามกีฬากลางแจ้ง ปรากฏว่าเย็นนั้นฝนตกหนักจนมีน้ำขังบนเวที กรรมการและสักขีพยานเสนอให้เลื่อนการชกออกไปก่อน แต่เมื่อปรึกษากับนักชกทั้งสองฝั่งแล้ว ตกลงกันว่า จะทำการชกต่อไปตามแผนเดิม โดยฝ่ายคาร์รัทเธอร์เสนอให้ถอดรองเท้าชกด้วยเท้าเปล่า ทั้งคู่ชกโดยไม่สวมรองเท้า ท่ามกลางฝนที่ตกลงมาอย่างหนักเป็นเวลานับชั่วโมง ในที่สุดการชกก็สิ้นสุดลงในยกที่ 12 เมื่อไฟนีออนที่ให้แสงสว่างบนเวทีถูกลมพัดตกลงมาแตก และเศษแก้วบาดเท้าของนักมวย ไม่สามารถชกต่อได้ ผลการนับคะแนนปรากฏว่าจำเริญ ทรงกิตรัตน์ เป็นฝ่ายพ่ายแพ้ ทั้ง ๆ ที่ยกท้าย ๆ จำเริญเป็นฝ่ายชกคาร์รัทเธอร์บอบช้ำเจียนไปเจียนอยู่หลายครั้ง การชกครั้งนี้ได้รับการบันทึกว่า เป็นการชกชิงแชมป์โลกมวยสากลในยุคใหม่ ครั้งแรกและครั้งเดียว ที่นักชกชกด้วยเท้าเปล่า โดยไม่สวมรองเท้า[2] หลังจากที่ชกป้องกันตำแหน่งชนะคะแนนจำเริญ ทรงกิตรัตน์ แล้ว คารัทเธอร์ได้แวะชกอีกครั้งที่สิงคโปร์และประกาศแขวนนวมไปเมื่อ 16 พฤษภาคม พ.ศ. 2497 และได้รับการประกาศชื่อในหอเกียรติยศของนักมวยที่ลอสแอนเจลิสใน พ.ศ. 2538

ชีวิตครอบครัว คารัทเธอร์แต่งงานกับมาเรีย และมีลูก 4 คน ในช่วง พ.ศ. 2493 คารัทเธอร์มีโรงแรมเป็นของตนเองในซิดนีย์ หลังจากนั้น ได้ทำธุรกิจมากมาย รวมทั้งบาร์มังสวิรัติและน้ำผลไม้ในซิดนีย์ จิมมี่ คารัทเธอร์เสียชีวิตด้วยมะเร็งปอดและโรคพาร์คินสัน เมื่อ 15 สิงหาคม พ.ศ. 2533 รวมอายุได้ 61 ปี