จุดด้อยของวอยซ์โอเวอร์ไอพีก็คือ ในบางกรณีคุณภาพเสียงอาจจะไม่ดีเท่าโทรศัพท์ปกติ และอาจจะมีการดีเลย์หรือการที่สัญญาณเสียงเดินทางมาช้า ทำให้พูดสวนกันไม่ได้ถนัด ต้องรอให้แต่ละฝ่ายพูดให้จบก่อนจึงจะพูดได้ แต่ปัญหานี้ได้รับการปรับปรุงขึ้นมาอย่างต่อเนื่องจนแทบจะไม่มีความแตกต่างอีกต่อไป ข้อเสียอีกประการหนึ่งก็คือ โทรศัพท์วอยซ์โอเวอร์ไอพี จะใช้งานไม่ได้เมื่อไฟฟ้าดับ หรืออินเทอร์เน็ตเกิดขัดข้อง