ผู้ก่อตั้งพรรคคือโฮจิมินห์และชาวเวียดนามที่ลี้ภัยในจีนโดยใช้ชื่อพรรคคอมมิวนิสต์เวียดนาม โดยมีการประชุมพรรคครั้งแรกที่ฮ่องกงเมื่อเดือนกุมภาพันธ์ พ.ศ. 2472 ซึ่งในการประชุมครั้งนั้นได้ตกลงรวมพรรคคอมมิวนิสต์อินโดจีน (Đông Dương cộng sản đảng) และพรรคคอมมิวนิสต์อันนัม (An Nam cộng sản Đảng) เข้าด้วยกัน โดยที่กลุ่มนิยมลัทธิมาร์กอีกกลุ่มหนึ่งของเวียดนามคือพันธมิตรคอมมิวนิสต์อินโดจีน (Đông Dương cộng sản liên đoàn) ไม่ได้ถูกเชิญให้เข้าร่วมประชุมในฮ่องกง แต่สมาชิกของกลุ่มนี้เข้าเป็นสมาชิกพรรคคอมมิวนิสต์ภายหลัง

หลังจากนั้นไม่นาน พรรคเปลี่ยนชื่อเป็นพรรคคอมมิวนิสต์อินโดจีนภายใต้การนำขององค์การคอมมิวนิสต์สากล การประชุมพรรคครั้งแรกเป็นการประชุมลับที่มาเก๊าเมื่อ พ.ศ. 2478 ในเวลาเดียวกัน ทางมอสโกได้ออกนโยบายต่อต้านลัทธิฟาสซิสต์และสนับสนุนให้แนวร่วมคอมมิวนิสต์ทั่วโลกทำตามรวมทั้งต้องการให้ขบวนการคอมมิวนิสต์ทั้งหมดในอินโดจีนเป็นพันธมิตรกัน อย่างไรก็ตามพรรคนี้สลายตัวไปเมื่อ พ.ศ. 2488 กลายเป็นสมาคมนิยมลัทธิมาร์กและเวียดมินห์ซึ่งเป็นแนวร่วมปลดปล่อยแห่งชาติ

พรรคนี้ก่อตั้งใหม่อีกครั้งในนามพรรคแรงงานเวียดนาม (Đảng lao động Việt Nam) เมื่อปี พ.ศ. 2494 ในการประชุมใหญ่ระดับชาติของพรรคครั้งที่ 2 ในสงครามอินโดจีนครั้งแรก การประชุมใหญ่ของพรรคครั้งที่ 3 จัดขึ้นที่ฮานอยเมื่อ พ.ศ. 2503 ซึ่งเน้นการเผยแพร่ลัทธิคอมมิวนิสต์ในเวียดนามเหนือหรือสาธารณรัฐประชาธิปไตยเวียดนาม รวมทั้งให้มีการสนับสนุนการปลดปล่อยในภาคใต้ การประชุมใหญ่ครั้งที่ 4 มีขึ้นเมื่อ พ.ศ. 2519 หลังสิ้นสุดสงครามเวียดนามและเปลี่ยนชื่อพรรคเป็นพรรคคอมมิวนิสต์เวียดนาม