เนื่องจากเจ้าพระยาศรีสุริยวงศ์ เป็นผู้สนับสนุนให้ได้เป็นแต่งตั้งเป็นกรมพระราชวังบวรสถานมงคล กรมพระราชวังบวรวิไชยชาญ จึงทรงเกรงใจเจ้าพระยาศรีสุริยวงศ์เป็นอันมาก

ในช่วงต้นรัชกาลพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ประมาณ พ.ศ. 2417-2418 ทรงริเริ่มปฏิรูปปรับปรุงการปกครองประเทศให้ทันสมัยโดยโยงอำนาจเข้าศูนย์กลาง ทรงตั้งหอรัษฎากรพิพัฒน์ (Auditing Office ปัจจุบันคือกระทรวงการคลัง) เพื่อรวบรวมการเก็บภาษีมาอยู่ที่เดียวกัน ซึ่งกระทบกระเทือนต่อการเก็บรายได้ สร้างความไม่พอใจแก่เจ้านายและขุนนางเก่าแก่เป็นอันมาก โดยเฉพาะกรมพระราชวังบวรสถานมงคล ซึ่งเดิมมีรายได้แผ่นดินถึง 1 ใน 3 มีทหารในสังกัดถึง 2000 นาย และมีข้าราชบริพารเป็นจำนวนมาก และเกิดปฏิกิริยาโต้ตอบ มีการสะสมอาวุธ มีความขัดแย้งระหว่างวังหลวงกับวังหน้า จนเกือบจะเกิดสงครามกลางเมือง ซึ่งเรียกเหตุการณ์ขัดแย้งนี้ว่า วิกฤตการณ์วังหน้า[5][6]

กรมพระราชวังบวรวิไชยชาญ ทรงมีความรู้ภาษาอังกฤษเป็นอย่างดี และเข้าไปคบค้าสนิทสนมกับนายโทมัส น็อกซ์ กงสุลอังกฤษ ประกอบกับในสมัยนั้น อังกฤษคุกคามสยาม ถึงขั้นเรียกเรือรบมาปิดปากแม่น้ำ ทางวังหลวงจึงหวาดระแวง เชื่อว่ามีแผนการจะแบ่งดินแดนเป็นสามส่วนคือ ทางเหนือถึงนครเชียงใหม่ (หรืออาจจะเป็นพื้นที่ตั้งแต่ฝั่งตะวันออกของแม่น้ำเจ้าพระยาไปทางฝั่งตะวันออกของประเทศ) ให้พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวทรงปกครอง พื้นที่ตั้งแต่ฝั่งตะวันออกแม่น้ำแม่กลองไปจนถึงฝั่งตะวันตกของแม่น้ำเจ้าพระยา ให้สมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ปกครอง ทางใต้ตั้งแต่ฝั่งตะวันตกของแม่น้ำแม่กลองลงไป ให้กรมพระราชวังบวรวิไชยชาญครอง นัยว่าเมื่อแบ่งสยามให้เล็กลงแล้วจะได้อ่อนแอ ง่ายต่อการเอาเป็นเมืองขึ้น

เหตุการณ์บาดหมางเกิดขึ้นเมื่อวันหนึ่ง เกิดระเบิดขึ้นที่ตึกดินในวังหลวง ไฟไหม้ลุกลามไปถึงพระบรมมหาราชวัง ทางวังหลวงเข้าใจว่าวังหน้าเป็นผู้วางระเบิด และไม่ส่งคนมาช่วยดับไฟ ส่วนกรมพระราชวังบวรวิไชยชาญ ก็เสด็จหลบหนีไปอยู่ในสถานกงสุลอังกฤษไม่ยอมเสด็จออกมา เหตุการณ์ตึงเครียดนี้กินเวลาถึงสองสัปดาห์ จนกระทั่งสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์เดินทางกลับจากราชบุรี เข้ามาไกล่เกลี่ย โดยฝ่ายอังกฤษและฝรั่งเศสถือว่าเหตุการณ์ครั้งนั้นเป็นการเมืองภายในของสยาม และไม่ได้เข้ามาก้าวก่าย

กรมพระราชวังบวรวิไชยชาญ ทรงเป็นเจ้านายที่มีความสามารถหลายด้าน ด้านนาฏกรรม ทรงพระปรีชา เล่นหุ่นไทย หุ่นจีน เชิดหนัง และงิ้ว ด้านการช่าง ทรงชำนาญเครื่องจักรกล ทรงต่อเรือกำปั่น ทรงทำแผนที่แบบสากล ทรงสนพระทัยในแร่ธาตุ ถึงกับทรงสร้างโรงถลุงแร่ไว้ในพระราชวังบวรสถานมงคล เมื่อ พ.ศ. 2426 ทรงได้รับประกาศนียบัตรจากฝรั่งเศส ในฐานะผู้เชี่ยวชาญสาขาวิชาช่าง[7]