แรม วรธรรม เกิดเมื่อวันที่ 16 พฤศจิกายน พ.ศ. 2476 ที่จังหวัดลำปาง เป็นบุตรชายของ สุทิน วรธรรม และ ดอกเอื้อง (ดิบบ์) วรธรรม ซึ่งเป็นบุตรสาวของ ร้อยเอก วิลเลียม เรจินัลด์ ดิบบ์ อดีตทหารในกองทัพอังกฤษและนายห้างป่าไม้ พ่อของแรม(สุทิน วรธรรม) เป็นชาวจังหวัดลำปาง แม่ของแรม(ดอกเอื้อง วรธรรม) เป็นชาวไทยเชื้อสายอังกฤษ

ด้านชีวิตครอบครัวสมรสกับ อรพิน วรธรรม หรือ ปุ๊ (ราชสกุลเดิม กุญชร ณ อยุธยา) บุตรสาวของ ร้อยโท หม่อมหลวงพร้อม กุญชร บุตรชายของ เจ้าพระยาเทเวศร์วงศ์วิวัฒน์ (หม่อมราชวงศ์หลาน กุญชร) และเป็นพี่ชายของ พลโท หม่อมหลวงขาบ กุญชร มีบุตรธิดาทั้งสิ้น 4 คนหนึ่งในนั้นคือ โอ วรุฒ วรธรรม อดีตพระเอกชื่อดังผู้ล่วงลับ