เมื่อท่านต้องรับตำแหน่งนายกรัฐมนตรีเป็นคนที่ 2 ของประเทศ แทนที่พระยามโนปกรณนิติธาดา (ก้อน หุตะสิงห์) ที่ถูกรัฐประหารไปเมื่อวันที่ 20 มิถุนายน พ.ศ. 2476 การทำหน้าที่ของท่านไม่ราบรื่น เนื่องด้วยประสบกับปัญหาหลายด้าน ทั้งทางด้านเศรษฐกิจ การเมือง รวมทั้งการสงคราม ที่กำลังจะเกิดสงครามโลกครั้งที่สอง ขึ้น ทำให้ท่านต้องดำรงตำแหน่งนายกรัฐมนตรีติดต่อกันถึง 3 สมัย จากนั้นก็ลงจากตำแหน่ง แล้วเข้ามาเป็นรัฐมนตรีอีก 3 กระทรวง คือ รัฐมนตรีว่าการกระทรวงกลาโหม ในปี พ.ศ. 2477 รัฐมนตรีว่ากระทรวงการต่างประเทศ และรัฐมนตรีว่าการกระทรวงการคลังในปี พ.ศ. 2478 จากนั้นเมื่อมีเหตุการณ์ผันผวนทางการเมือง ท่านก็กลับมาเป็นนายกรัฐมนตรี เป็นสมัยที่ 4 โดยนั่งควบตำแหน่งรัฐมนตรีว่าการกระทรวงเกษตราธิการ หลังจากนั้น ก่อนจะเข้าดำรงตำแหน่งเป็นนายกรัฐมนตรีสมัยที่ 5 วันที่ 21 ธันวาคม พ.ศ. 2480 และลาออกจากตำแหน่ง เมื่อวันที่ 11 กันยายน พ.ศ. 2481 และยุติบทบาททางการเมืองไป ซึ่งตำแหน่งนายกรัฐมนตรีคนต่อมา ก็คือ หลวงพิบูลสงคราม (แปลก พิบูลสงคราม) นายทหารรุ่นน้องที่ท่านรักและไว้ใจนั่นเอง

พระยาพหลพลพยุหเสนา ได้รับพระราชทานวังปารุสกวัน จากพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว ให้เป็นที่พำนัก แม้ถึงตอนที่พ้นจากตำแหน่งไปแล้ว ซึ่งท่านได้ใช้ที่นี่เป็นที่พำนักพักอาศัยตราบจนถึงวาระสุดท้ายของชีวิต[1]

พระยาพหลพลพยุหเสนา มีคติประจำใจว่า "ชาติเสือต้องไว้ลาย ชาติชาย ต้องไว้ชื่อ" ชีวิตของท่านไม่มีทรัพย์สินเงินทองมากมายเลยแม้จะผ่านตำแหน่งสำคัญ ๆ มามากก็ตาม[1] ใน พ.ศ. 2487 ระหว่างปลายสงครามโลกครั้งที่ 2 ในรัฐบาลพันตรีควง อภัยวงศ์ ที่ขึ้นมาแทนที่รัฐบาลของจอมพลแปลก ที่ได้ลาออกไปก่อนหน้านั้น เมื่อรัฐบาลมีมติปลด จอมพลแปลก ออกจากตำแหน่งแม่ทัพใหญ่ (ปัจจุบันคือ ผู้บัญชาการทหารสูงสุด) ก็ได้ขอให้ท่านรับตำแหน่งนี้เอาไว้ ทั้งที่ท่านประกาศไม่ยุ่งเกี่ยวกับการเมืองอีกแล้ว ประกอบกับร่างกายที่เป็นอัมพาตจากอาการเส้นโลหิตในสมองแตก แต่ท่านก็รับไว้ในที่สุด แม้จะปรารภว่าจะให้เป็นท่านเป็นแม่ทัพกล้วยปิ้งหรืออย่างไร อีกทั้งระหว่างการดำรงตำแหน่งนายกรัฐมนตรีของพันตรีควง ในช่วงนี้ เป็นที่หวาดวิตกว่า อาจมีรัฐประหาร ด้วยกำลังทหารจากจังหวัดลพบุรี ที่ยังให้การสนับสนุนจอมพลแปลกอยู่ เพื่อยุติภาวะอันนี้ พันตรีควง จึงตัดสินใจเดินทางไปพบจอมพลแปลกด้วยตัวเองถึงที่บ้านพักส่วนตัว ภายในศูนย์การทหารปืนใหญ่ จังหวัดลพบุรี หลังจากเจรจากันแล้ว จอมพลแปลกได้ยืนยันว่า ไม่มีความคิดเช่นนั้นเลย อีกทั้งยังมีความรักใคร่ พันตรีควง เสมือนเป็นน้องชายตนเอง ในการครั้งนี้ ด้วยความเป็นห่วงพันตรีควง พระยาพหลพลพยุหเสนาได้โทรศัพท์ไปสอบถามถึงบ้านพักของพันตรีควงถึง 2 ครั้ง เมื่อไม่ได้ความ ก็เดินทางออกจากวังปารุสกวันไปที่หลักสี่เพื่อรอคอยการกลับมาของพันตรีควงด้วยตนเอง ทั้งที่สภาพร่างกายไม่เอื้ออำนวย [2]

พระยาพหลพลพยุหเสนา ได้ล้มป่วยลงด้วยโรคอัมพาตเมื่อวันที่ 20 สิงหาคม 2488 เนื่องจากเส้นเลือดในสมองแตก แต่ด้วยความสามารถของนายแพทย์และด้วยกำลังใจอันเข้มแข็ง ท่านได้ต่อสู้โรคร้ายมาตลอดราว 2 ปีเศษ จนเมื่อเวลา 21.40 น. ของคืนวันที่ 13 กุมภาพันธ์ 2490 ได้เกิดอาการหายใจลึกและสะท้อน ชีพจรอ่อน พูดไม่ได้ มีเสมหะในลำคอมาก ม่านตาไม่ขยาย อาการทรุดลงตามลำดับ จนถึงเวลา 3.05 น. ของวันที่ 14 กุมภาพันธ์ พ.ศ. 2490 ก็ได้ถึงแก่อสัญกรรม ด้วยวัย 60 ปี นายแพทย์พร้อมกันลงความเห็นว่าเส้นโลหิตในสมองได้แตกอีกเป็นครั้งที่ 2 จึงเป็นเหตุให้ถึงแก่อสัญกรรม[11] ซึ่งงานศพของท่านทางครอบครัวไม่มีเงินเพียงพอที่จะจัดพิธีพระราชทานเพลิงศพ จนทางรัฐบาลหลวงธำรงนาวาสวัสดิ์ ต้องเข้ามารับอุปถัมภ์ จัดการงานพระราชทานเพลิงให้ท่านแทน[1] ศพของพระยาพหลฯ ได้ถูกอัญเชิญไปประดิษฐาน ณ วังปารุสกวันและพระราชทานเพลิงศพที่วัดเบญจมบพิตร เมื่อวันที่ 17 เมษายน 2490 ซึ่งเป็นวัดที่ท่านอยู่จำศีลภาวนาเมื่อคราวอุปสมบท