เมื่อ John Herschel เกิดในปี1792 พ่อของเขามีอายุได้ 55 ปีและแม่มีอายุ 42 ปีพวกเขาอาศัยอยู่ด้วยกันพร้อมด้วย Coroline Herschel เป็นน้องสาวของ William Herschel Coroline Herschel เป็นคนที่สำคัญอีกคนหนึ่งที่มีส่วนช่วยอบรมเลี้ยงดู John Herschel William Herschel ไม่ได้มีความสามารถแต่ด้านดาราศาสตร์เท่านั้นแต่ทั้งเขาและน้องสาวยังมีความสามารถพิเศษทางด้านดนตรีอีกด้วย

เขาทั้งคู่ได้ใช้ความสามารถทางด้านดนตรีเพื่อหารายได้ ครั้งที่เพิ่งมาอาศัยอยู่ที่ประเทศอังกฤษ John Herschel มักที่จะขึ้นไปบนหอดูดาวพร้อมด้วยกล้องโทรทัศน์ขนาด 40 ฟุต เพื่อเตรียมที่จะเข้าเรียนที่มหาวิทยาลัย John Herschel ได้เข้ามาเรียนที่ St.John’s College Cambridge ในปี 1809 เขาได้มีเพื่อนชื่อ Peacock และ Babbage ปี 1812 ทั้ง 3 ได้ร่วมกันศึกษาวิเคราะห์วิจัยสังคมโดยมีจุดมุ่งหมายที่เผยแพร่หลักคณิตศาสตร์ตามวิธีของชาวยุโรป