หลังจากคาราบาว ประสบความสำเร็จกับอัลบั้มห้ามจอดควายประกอบกับความโด่งดังของเพลง สัญญาหน้าฝน ที่เขียว - กีรติ พรหมสาขา ณ สกลนคร เป็นผู้ขับร้อง ทำให้เขียว ซึ่งเป็นหนึ่งในสมาชิกผู้ก่อตั้งวงตั้งแต่อยู่ที่ประเทศฟิลิปปินส์ ตัดสินใจแยกจากวงคาราบาวเพื่อทำอัลบั้มเดี่ยวของตนเอง

ในปี พ.ศ. 2533 สมาชิกหลักของคาราบาวได้แยกย้ายกันไปทำอัลบั้มเดี่ยวหลายคน โดยเทียรี่ เมฆวัฒนา และเขียว - กีรติ พรหมสาขา ณ สกลนคร ได้ออกอัลบั้มเดี่ยวของตนเป็นครั้งแรกโดยเทียรี่ ออกอัลบั้มชุด เจาะเวลา และเขียว ออกอัลบั้มชุดก่อกวน นอกจากนี้ แอ๊ด - ยืนยง โอภากุล ก็ออกอัลบั้มเดี่ยวชุดโนพลอมแพลม รวมถึง เล็ก - ปรีชา ชนะภัย ที่ออกอัลบั้มเดี่ยวชุด 1945 นางาซากิ

ในเดือนพฤษภาคม พ.ศ. 2534 คาราบาว ได้จัดคอนเสิร์ตคนคาราบาวขึ้นเพื่อประกาศถึงการแยกวงของสมาชิกยุคคลาสสิกอย่างเป็นทางการ ต่อมาในเดือนธันวาคม สมาชิกของคาราบาว 3 คน ประกอบไปด้วย แอ๊ด - ยืนยง โอภากุล, เล็ก - ปรีชา ชนะภัย และ อ็อด - อนุพงษ์ ประถมปัทมะ ได้กลับมารวมตัวเพื่อทำผลงานเพลงร่วมกันอีกครั้ง จึงได้เกิดเป็นผลงานเพลงชุด วิชาแพะ ขึ้น

เนื่องจากสมาชิกหลักที่ทำงานชุดนี้เหลือเพียงแค่ 3 คน ทางคาราบาวจึงจำเป็นต้องหานักดนตรีอาชีพเข้ามาช่วยทำงานเพื่อให้สามารถบันทึกเสียงและออกทัวร์คอนเสิร์ตร่วมกันได้ จึงได้ ดุก - ลือชัย งามสม ซึ่งเคยเล่นเป็นแบ็กอัพให้กับเล็ก - ปรีชา ชนะภัย ตอนออกอัลบั้มเดี่ยว มาเล่นคีย์บอร์ด และได้ โก้ - ชูชาติ หนูด้วง อดีตมือกลองของวงคาไลโดสโคป และเคยตีกลองให้กับ กิตติ กาญจนสถิตย์ หรือ กิตติ กีตาร์ปืน รวมถึงเคยออกอัลบั้มกับชัคกี้ ธัญญรัตน์และปู - อานนท์ สายแสงจันทร์ ในนามวง บลู พลาเน็ต นอกจากนี้ยังได้ น้อย - ธีระวิสาล จุลมกร ซึ่งเพิ่งมีผลงานเพลงชุดแรกในนาม น้อย ซานตานอย มาเล่นเครื่องเป่าในบางเพลงด้วย (โดยต่อมาดุก - ลือชัย งามสม และ โก้ ชูชาติ หนูด้วง ได้กลายมาเป็นสมาชิกใหม่ของวงในอัลบั้มชุดต่อมา)

แนวทางดนตรีในอัลบั้มชุดนี้มีความหลากหลาย มีความเป็นเพลงร็อกอยู่มาก จากพัฒนาการทางเพลงร็อคของเล็ก ปรีชา ชนะภัย และเนื้อหาของเพลงในอัลบั้มยังคงเกี่ยวข้องกับการเมืองและสังคม โดยมีเพลง วิชาแพะ เพลงชื่อเดียวกับอัลบั้มเป็นเพลงโปรโมต โดยเพลงดังกล่าวพูดถึงแพะรับบาป และวางจำหน่ายในช่วงปลายของปีแพะ นอกจากนี้ยังมีเพลง นรกคอรัปชั่น ที่ได้รับความนิยมจนเกิดเป็นวลียอดนิยมในสังคมสมัยนั้นว่า "...โกหกนั้นตายตกนรก" เป็นเรื่องของนักการเมืองที่อ้างตนว่าพูดจริงทำจริงแต่สุดท้ายกลับเป็นเพียงเรื่องโกหก และนักการเมืองเหล่านั้นเมื่อตายไปต้องตกนรก เพลง "นรกคอรัปชั่น" นี้ โดยได้ ศรัทธา ศรัทธาทิพย์ มาเล่นในมิวสิกวิดีโอนี้อีกด้วย เพลงนี้ใช้จังหวะดนตรีสไตล์เร้กเก้ มีเสียงสนทนาระหว่างสมาชิกในวงคั่นระหว่างเพลง

นอกจากนี้ยังมี เพลง นาย ก. เป็นการเรียกร้องผู้ที่จะมาดำรงตำแหน่งผู้นำประเทศซึ่งต้องมาจากการเลือกตั้งของประชาชน เพลง พ่อหลี ที่เป็นการร้องคู่กันของแอ๊ดและเล็ก กล่าวถึงความเป็นอยู่ของผู้คนในสังคมแห่งความฟุ่มเฟือย ใช้ดนตรีสามช่าพร้อมเสียงเครื่องเป่า [1],เพลง บิ๊กสุ ที่ทำในจังหวะร็อกแอนด์โรล ซึ่งชื่อเพลงมาจากการเสียดสี พล.อ.สุจินดา คราประยูร บุคคลที่มีบทบาทอย่างสูงในทางการเมืองขณะนั้น คาราบาวจึงใช้ชื่อนี้มาแต่งเพลงให้มีเนื้อหาสดุดีสองขุนพลเพลงไทย ซึ่งเป็นแรงบันดาลใจให้แอ๊ด - ยืนยง โอภากุล ยืนอยู่บนเส้นทางดนตรี คือ ครูสุรพล สมบัติเจริญ และ สุรชัย จันทิมาธร หรือ หงา คาราวาน เพลง ลุงหริ ซึ่งเป็นเพลงที่ 3 ที่อ๊อด - อนุพงษ์ ประถมปัทมะ ทำหน้าที่ร้องนำในวง ต่อจาก กระถางดอกไม้ให้คุณ และ ปอดแหก