จอห์น ซัลลิแวนเกิดและเติบโตที่บอสตัน รัฐแมสซาชูเซตส์ จบการศึกษาระดับชั้นมัธยมจากโรงเรียนมัธยมซาเวเรียนเมื่อ พ.ศ. 2520 ได้รับปริญญาศิลปศาสตร์ด้านประวัติศาสตร์และรัฐศาสตร์จากมหาวิทยาลัยบราวน์ในปี พ.ศ. 2524 และปริญญาเอกด้านกฎหมายจากมหาวิทยาลัยโคลัมเบีย พ.ศ. 2529 จากนั้นทำหน้าที่บรรณาธิการวิชาการ ในหนังสือ "Columbia Law Review" เขาเคยเป็นเสมียนประจำตัวจอห์น ไมเนอร์ วิซดอม อดีตผู้พิพากษาศาลอุทธรณ์สหรัฐเขตที่ 5 และเดวิด เซาเทอร์ อดีตผู้พิพากษาศาลฎีกาสหรัฐมาก่อน

เขาแต่งงานกับเกรซ โรดิเกรซ มีบุตรด้วยกัน 3 คนและอาศัยอยู่ที่รัฐแมรีแลนด์ ซัลลิแวนเป็นหลานชายของวิลเลียม เอช. ซัลลิแวน เอกอัครราชทูตสหรัฐประจำสาธารณรัฐอิสลามอิหร่านคนสุดท้าย

ตั้งแต่ปี พ.ศ. 2546 ถึง พ.ศ. 2551 ซัลลิแวนเป็นผู้สนับสนุนโครงการหาเสียงของชัค ฟอร์ด (ลงชิงตำแหน่งสมาชิกสภาผู้แทนราษฎรรัฐแมรีแลนด์ เขตที่ 8) และแจ็ค ไรอัน (ลงชิงตำแหน่งวุฒิสมาชิกจากรัฐอิลลินอยส์)