เออร์เนสต์ รัทเทอร์ฟอร์ด เป็นบุตรชายของ เจมส์ รัทเทอร์ฟอร์ด ชาวนาผู้ซึ่งอพยพมาจากเมืองเพิร์ธ ประเทศสกอตแลนด์ กับ มาร์ธา (นามสกุลเดิม ธอมป์สัน) ซึ่งดั้งเดิมอาศัยอยู่ที่เมือง ฮอร์นเชิช เมืองเล็กๆ ในแถบตะวันออกของประเทศอังกฤษ บิดามารดาของเขาย้ายมายังประเทศนิวซีแลนด์ เออร์เนสต์ เกิดในเมืองสปริงโกรฟ (ปัจจุบันคือ เมืองไบรท์วอเตอร์) ใกล้กับเมืองเนลสัน ประเทศนิวซีแลนด์ เขาศึกษาในเนลสันคอลเลจ และได้รับทุนการศึกษาเพื่อเรียนในแคนเตอร์บิวรีคอลเลจ (ปัจจุบันคือมหาวิทยาลัยแห่งแคนเทอเบอรี่ ) ในปี 1895 หลังจากจบการศึกษาด้าน BA, MA และ BSc และใช้เวลา 2 ปีในการทำวิจัยเกี่ยวกับเทคโนโลยีไฟฟ้า รัทเทอร์ฟอร์ดเดินทางไปยังประเทศอังกฤษเพื่อศึกษาต่อที่ ศูนย์วิจัยคาเวนดิช มหาวิทยาลัยแคมบริดจ์ (1895 - 1898) เขาได้รับการบันทึกไว้ในฐานะผู้ค้นพบระยะของคลื่นแม่เหล็กไฟฟ้า ในระหว่างการทดลองด้านกัมมันตภาพรังสี เขาเป็นผู้สร้างนิยามของรังสีแอลฟา และบีตา ซึ่งเป็นคำที่ใช้เรียกรังสี 2 ชนิดที่ปล่อยออกมาจากทอเรียมและยูเรเนียม เขาค้นพบมันระหว่างการตรวจสอบอะตอม อย่างไรก็ตาม เขาไม่ยอมรับว่าเป็นผู้ค้นพบรังสีแกมมา ซึ่งถูกค้นพบโดยนักวิทยาศาสตร์ชาวฝรั่งเศส P.V. Villard ไม่นานหลังรัทเทอร์ฟอร์ดรายงานการค้นพบของเขาเกี่ยวกับการแพร่กระจายของก๊าซกัมมันตภาพรังสี

ในปี 1898 รัทเทอร์ฟอร์ดได้เป็นหัวหน้าด้านฟิสิกส์ของมหาวิทยาลัยแมคกิลล์ ในมอนทรีออล ประเทศแคนาดา ที่ซึ่งเขาสร้างผลงานจนได้รับรางวัลโนเบลสาขาเคมี ในปี 1908