วัดภูเขาแก้ว เดิมเป็นพื้นที่ ป่าช้าโคกภูดิน ซึ่งเรียกตามลักษณะพื้นที่ที่เป็นเนินภูเขา มีป่ารกชัฎ มีต้นไม้ใหญ่หนาแน่นปกคลุม ในอดีตนั้นมีพื้นที่กว้างใหญ่

ปี พ.ศ. 2480 สมเด็จพระมหาวีรวงศ์ (อ้วน ติสฺโส) ในขณะดำรงสมณศักดิ์ที่ พระพรหมมุนี และดำรงตำแหน่ง เจ้าอาวาสวัดสุปัฏนารามวรวิหาร และ เจ้าคณะมณฑลนครราชสีมา ด้วยนั้น ได้ขอให้ พระครูวิเวกพุทธกิจ (เสาร์ กนฺตสีโล) พิจารณาสร้างวัดป่ากรรมฐานขึ้นที่อำเภอพิบูลมังสาหาร ด้วยปรากฏว่า ญาติพี่น้องของสมเด็จพระมหาวีรวงศ์ (อ้วน ติสฺโส)ได้อพยพมาจากบ้านแคน ดอนมดแดง มาปักหลักตั้งถิ่นฐานที่บ้านโพธิ์ตาก อำเภอพิบูลมังสาหาร เป็นจำนวนมาก จึงต้องการให้พระครูวิเวกพุทธกิจ (เสาร์ กนฺตสีโล) ไปตั้งสำนักวัดป่าอบรมจิตภาวนาให้ลูกหลานชาวอำเภอพิบูลมังสาหาร เพื่อจะได้มีความรู้แลความเข้าใจในธรรมปฏิบัติด้านสมถะและวิปัสสนากรรมฐาน

สมเด็จพระมหาวีรวงศ์ (อ้วน ติสฺโส) ได้เล็งเห็นถึงความสำคัญด้านวิปัสสนาธุระและเพื่อส่งเสริมสายพระกรรมฐานของพระบูรพาจารย์คือ ท่านพนฺธุโล (ดี) พระมหาเถระผู้สถาปนาคณะธรรมยุติกนิกายขึ้นในภาคอีสาน ซึ่งท่านพนฺธุโล (ดี) นั้นเป็น ปุราณสหธรรมิก พระภิกษุรวมสำนักกับพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว ในขณะที่พระองค์ทรงผนวชและได้ทรงตั้งคณะสงฆ์ธรรมยุตติกาวงศ์หรือธรรมยุติกนิกายขึ้นในประเทศไทย ต่อมาท่านพนฺธุโล (ดี) ได้นำธรรมเนียมประพฤติปฏิบัติของคณะสงฆ์ธรรมยุติกนิกายมาเผยแผ่ที่จังหวัดอุบลราชธานี โดยมี พระพรหมราชวงศา (กุทอง) เจ้าเมืองอุบลราชธานี คนที่ 3 ได้มีความเลื่อมใสศรัทธาในพระสงฆ์ คณะธรรมยุต จึงได้สร้างวัดสุปัฏนารามวรวิหารให้เป็นสำนักของ ท่านพนฺธุโล (ดี) และคณะ จึงถือได้ว่า วัดสุปัฏนารามวรวิหาร จังหวัดอุบลราชธานี เป็นวัดแรกของคณะสงฆ์ธรรมยุตหรือธรรมยุติกนิกายในภาคอีสาน และเป็นการเริ่มต้นของคณะสงฆ์ธรรมยุติกนิกายในภาคอีสานอีกด้วย หลังจากนั้นคณะสงฆ์ธรรมยุติกนิกายจึงได้แพร่หลายในจังหวัดอุบลราชธานีและภาคอีสาน

พระบำรุงราษฎร์ (จูมมณี) เจ้าเมืองพิบูลมังสาหาร ได้สร้างวัดสระแก้วขึ้น เมื่อ ปี พ.ศ. 2406 ซึ่งเป็นวัดคณะสงฆ์ธรรมยุติกนิกายแห่งที่ 5 ของจังหวัดอุบลราชธานีและภาคอีสาน และได้อาราธนานิมนต์ ท่านพนฺธุโล (ดี) ไปเป็นผู้ปกครองวัด ซึ่งท่านก็รับเป็นเจ้าอาวาสรูปแรกอีกด้วย และในปัจฉิมวัยของ ท่านพนฺธุโล (ดี) ได้มรณภาพที่วัดสระแก้วแห่งนี้ ดังนั้น สมเด็จพระมหาวีรวงศ์ (อ้วน ติสฺโส) จึงให้ความสำคัญในการส่งเสริมสร้างวัดปฏิบัติกรรมฐานในอำเภอพิบูลมังสาหาร ตามรอยพระบูรพาจารย์คือ ท่านพนฺธุโล (ดี)

ปี พ.ศ. 2480 พระครูวิเวกพุทธกิจ (เสาร์ กนฺตสีโล) จึงได้มอบหมายให้ พระอาจารย์ดี ฉนฺโน และ พระอาจารย์เสงี่ยม -ไม่ทราบฉายา- มาตั้งสำนักปฏิบัติธรรมอบรมจิตภาวนาที่อำเภอพิบูลมังสาหาร บริเวณ ป่าช้าโคกภูดิน ซึ่งเป็นเนินภูเขาสูง โดยมีสมเด็จพระมหาวีรวงศ์ (อ้วน ติสฺโส) และชาวอำเภอพิบูลมังสาหารได้ให้การอุปถัมภ์สนับสนุน ชาวบ้านเรียกสำนักแห่งนี้ว่า วัดป่าภูดิน หรือ วัดป่าภูเขาแก้ว โดยมี พระอาจารย์ดี ฉนฺโน เป็นเจ้าอาวาสรูปแรก และอยู่จำพรรษาที่วัดแห่งนี้เป็นเวลานานหลายปี

ปี พ.ศ. 2492 ได้รับพระราชทาน วิสุงคามสีมา มีสถานะเป็นวัดอย่างถูกต้องตามกฎหมาย ใช้ชื่อว่า วัดภูเขาแก้ว และ พระอาจารย์ดี ฉนฺโน ได้เริ่มก่อสร้าง ศาลาการเปรียญกว้าง 15 เมตร ยาว 30 เมตร ในเขตที่ดินได้รับพระราชทานวิสุงคามสีมาเพื่อประกอบพิธีทำสังฆกรรม ซึ่งศาลาการเปรียญได้สร้างเสร็จเรียบร้อยในปี พ.ศ. 2496 สิ้นเงินค่าก่อสร้างประมาณ 3 แสนบาทเศษในสมัยนั้น หลังจากนั้น พระอาจารย์ดี ฉนฺโนจึงไปจำพรรษาที่วัดดอนธาตุและวัดภูถ้ำพระ

ปี พ.ศ. 2494 ได้มีแบ่งแยกการปกครองคณะสงฆ์ใหม่ เจ้าคณะจังหวัดอุบลราชธานีในขณะนั้น จึงแต่งตั้งให้ พระอาจารย์เพชร สุภโร เป็นเจ้าอาวาส

ปี พ.ศ. 2516 ศาลาการเปรียญที่พระอาจารย์ดี ฉนฺโน ก่อสร้างไว้ด้วยไม้ตะเคียน 2 ชั้นนั้น ได้ถูกเพลิงไหม้ พระครูพิบูลธรรมภาณ (โชติ อาภคฺโค) ซึ่งได้รับแต่งตั้งให้ดำรงตำแหน่งเจ้าอาวาส และเจ้าคณะอำเภอพิบูลมังสาหาร (ธ) ในขณะนั้น จึงจำเป็นต้องสร้างอุโบสถศาลาการเปรียญหลังใหม่ขึ้นแทน เพื่อให้พระสงฆ์ได้ใช้ทำสังฆกรรรมและปฏิบัติธรรมกรรมฐาน

ด้วยเหตุนี้ พระครูพิบูลธรรมภาณ (โชติ อาภคฺโค) จึงได้ออกแบบพระอุโบสถหลังใหม่ ซึ่งเป็นพระอุโบสถ 2 ชั้น ชั้นล่างเป็นศาลาการเปรียญใช้ในการนั่งปฏิบัติธรรมวิปัสสนากรรมฐาน ชั้นบนเป็นพระอุโบสถสังฆกรรม ตั้งอยู่ในเรือท้ายกริ่งเรียกว่า พุทธนาวา ตัวพระอุโบสถประดับด้วยกระเบื้องเคลือบทั้งหลัง เป็นรูปแบบศิลปะไทย หลังคาเป็นโครงสร้างไม่มีมุขลดหลั่นกันสี่ชั้นทั้งด้านหน้าและด้านหลังมุงด้วยกระเบื้องเคลือบดินเผา ประดับด้วยช่อฟ้าใบระกาหางหงส์ โดยมีคันทวยรองรับชายคาเป็นรูปนาคอยู่โดยรอบ ส่วนบริเวณกลางหลังคาตกแต่งเป็นยอดปราสาททอง หน้าบันจำหลักลายปูนปั้นลายก้านขดที่ยังคงความอ่อนช้อย และเข้ากันได้ดีกับบัวเสาที่ทำตามศิลปะอินเดีย ในขณะที่ส่วนล่างของบัวหัวเสาลงมาตกแต่งแบบศิลปะขอม ภายในพระอุโบสถจะตกแต่งด้วยภาพนูนสูง อยู่เหนือบานประตู และหน้าต่างขึ้นไปเป็นเรื่องรา และภาพจำลองเกี่ยวกับพระธาตุที่สำคัญของประเทศไทย พร้อมทั้งเล่าเรื่องราวประวัติของพระธาตุแต่ละองค์โดยสังเขป และโดยรอบอาคารชั้นล่างจัดทำเป็นโต๊ะตั้งเครื่องปั้นดินเผา ซึ่งพระอุโบสถศาลาอันวิจิตรงดงามตระการตานี้ก็คือ พระอุโบสถวัดภูเขาแก้ว ในปัจจุบัน

นอกจากนี วัดภูเขาแก้วยังตั้งอยู่บนเนินเขาสูง สามารถมองเห็นวิวทิวทัศน์อันงดงาม ภายในวัดยังมีต้นไม้ใหญ่ปกคลุมร่มรื่นเย็นสบาย เหมาะแก่การปฏิบัติธรรมกรรมฐาน มีห้องน้ำสะอาด และยังได้จัดสถานที่ไว้ให้ทำบุญตามจิตศรัทธาตามสะดวกอีกด้วย