หม่อมเจ้าสวาสดิ์วัฒโนดม เป็นพระธิดาในพระเจ้าบรมวงศ์เธอ กรมหลวงปราจิณกิติบดี ประสูติแต่หม่อมช้อย ประวิตร ณ อยุธยา (สกุลเดิม กัลยาณมิตร)[2] ธิดาเจ้าพระยาสุรสีห์วิสิษฐศักดิ์ (เชย กัลยาณมิตร)

ท่านหญิงมีเชษฐาและอนุชาร่วมมารดาสององค์ คือ หม่อมเจ้าสีหวิลาศ ประวิตร และหม่อมเจ้ากวีวิศิษฐ์ ประวิตร

ท่านหญิงทรงเข้ารับการศึกษาชั้นต้นในพระบรมมหาราชวัง ต่อมาทรงเข้าศึกษาที่โรงเรียนอัสสัมชัญ ภายหลังพระบิดาทรงจ้างครูแหม่มมาสอนพิเศษ ณ วังราชสกุลประวิตร เชิงสะพานเทเวศน์ (ปัจจุบันคือตลาดจันทร์ประวิตร) พร้อมกับทรงศึกษาดนตรีจนมีความเชี่ยวชาญทั้งดนตรีไทยและดนตรีสากล และโปรดกีฬาทรงม้า

ท่านหญิงโปรดการอ่านหนังสือตั้งแต่ยังทรงเยาว์ และเป็นแรงบันดาลทัยให้นิพนธ์นิยายต่างๆ ในเวลาต่อมา เมื่อชันษาได้ 17 ปี ทรงสนิทสนมกับหม่อมเจ้าอากาศดำเกิง รพีพัฒน์ (ชันษา 23 ปี) พระโอรสในพระเจ้าบรมวงศ์เธอ กรมหลวงราชบุรีดิเรกฤทธิ์ ซึ่งประทับที่วังใกล้กัน หม่อมเจ้าอากาศดำเกิงทรงกราบทูลให้สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าบริพัตรสุขุมพันธุ์ กรมพระนครสวรรค์วรพินิต ทรงสู่ขอหม่อมเจ้าสวาสดิ์วัฒโนดมมาเป็นชายาต่อหม่อมช้อยให้[3] เมื่อ พ.ศ. 2471 แต่ทรงปฏิเสธเนื่องจากมิได้ทรงมีจิตปฏิพัทธ์ด้วย[4]