หมอบรัดเลย์สมรสกับภรรยาคนแรก เอมิลี รอยส์ บรัดเลย์ (Emilie Royce Bradley) เมื่อมาเมืองไทยรับลูกของมิชชันนารีด้วยกันเป็นบุตรบุญธรรมคนหนึ่ง และภรรยามีลูกอีก 2 คน รวมมีบุตรเป็น 3 คน แต่เอมิลีถึงแก่กรรม ใน พ.ศ. 2388 ด้วยโรควัณโรคและศพได้ฝังอยู่ในเมืองไทย จากนั้น พ.ศ. 2390 กลับอเมริกาโดยพาบุตรและบุตรบุญธรรมกลับ และกลับมาเมืองไทยอีกครั้งปี พ.ศ. 2393 มีภรรยาใหม่ชื่อ ซาราห์ บรักลีย์ บรัดเลย์ (Sarah Brachly Bradley) คงพักอยู่ในสยามโดยไม่ได้กลับอเมริกาเลยตลอดชีวิต เสียชีวิตเมื่อ 16 สิงหาคม พ.ศ. 2436 ตอนอายุ 75 ปี อยู่สยามรวม 43 ปี ส่วนลูกของเธอ 4 คนเดินทางกลับไปใช้ชีวิตในอเมริกา มีบุตรชายชื่อ คอร์เนลิอุส บี บรัดเลย์ (Cornelius)[9] ลูกสาวคนหนึ่งของหมอพักอาศัยในบ้านหลังนี้ต่อไปจนเสียชีวิตด้วยโรคชรา และมอบที่ดินดังกล่าวให้กองทัพเรือ[3]