โครงการประเมินผลนักเรียนระหว่างประเทศ จะเลือกนักเรียนในระบบ (ไม่เลือกนักเรียนนอกระบบ เช่น นักศึกษาการศึกษานอกโรงเรียน) ซึ่งมีอายุระหว่าง 15 ปี 3 เดือน จนถึง 16 ปี 2 เดือน โดยไม่คำนึงถึงชั้นปีทางการศึกษา เป็นกลุ่มทดสอบ โดยแต่ละประเทศจะต้องเก็บตัวอย่างนักเรียนให้ได้อย่างน้อย 5,000 คน ทั้งนี้ในประเทศเล็ก ๆ เช่น ไอซ์แลนด์ และ ลักเซมเบิร์ก อาจจัดการทดสอบแก่นักเรียนทุกคน บางประเทศซึ่งมีขนาดใหญ่อาจจัดสอบให้นักเรียนมากกว่า 5,000 คนก็ได้ เพื่อให้สามารถเปรียบเทียบผลสัมฤทธิ์ทางการศึกษาระหว่างภูมิภาคได้

ในการทดสอบ จะใช้ข้อสอบปรนัย (เลือกตอบ) ผสมกับข้อสอบอัตนัย (เขียนตอบ) จำนวนทั้งหมด 6 ชั่วโมง 30 นาที แต่ใช้คอมพิวเตอร์เลือกมาทดสอบ 2 ชั่วโมง ต่อจากการทดสอบ นักเรียนที่เข้าสอบจะตอบคำถามเกี่ยวกับภูมิหลังของตนเอง เช่น นิสัยการเรียน แรงขับเคลื่อน และครอบครัว ผู้อำนวยการโรงเรียนจะตอบแบบสอบถามเกี่ยวกับข้อมูลทั่วไปของโรงเรียนประกอบด้วย ในปี พ.ศ. 2555 ข้อสอบมีการปรับปรุงให้ซับซ้อน และมีการทดสอบจำนวนมากขึ้น[4][5]

องค์การเพื่อความร่วมมือและการพัฒนาทางเศรษฐกิจอนุญาตให้แต่ละประเทศผสานการทดสอบขององค์การฯ และการทดสอบของประเทศตนเองเข้าด้วยกันได้ เช่นเยอรมนี หลังจากการทดสอบตามโครงการฯ แล้ว จะจัดการทดสอบในลักษณะเดียวกันเป็นการทดสอบระดับชาติ เรียกว่า PISA-E (E คือ Ergänzung แอร์เกนซุง แปลว่า เสริม) โดยที่นักเรียนจำนวน 5,000 คนจะเข้าสอบทั้งระหว่างชาติและระดับชาติ ในขณะที่นักเรียนอีก 45,000 คนจะเข้าสอบเฉพาะระดับชาติอย่างเดียว เพื่อให้ได้ตัวอย่างที่มากขึ้นสำหรับการทดสอบทางการศึกษาระหว่างรัฐ อย่างไรก็ตามในปี พ.ศ. 2549 เกิดความขัดแย้งในการตีความผลการทดสอบสองแบบ เป็นเหตุให้องค์การฯ สั่งเตือนประเทศเยอรมนีให้เลิกใช้ PISA ในการทดสอบระดับชาติ[6]

ผลการทดสอบเมื่อได้คะแนนดิบออกมาแล้วย่อมจะแตกต่างกัน เพราะนักเรียนแต่ละคนจะทำข้อสอบคนละชุดกัน ดังนั้นในชั้นแรกจึงต้องนำคะแนนไปปรับให้ค่าเฉลี่ยอยู่ที่ 500 และส่วนเบี่ยงเบนมาตรฐานอยู่ที่ 100[7] ต่อมาได้มีการนำแบบจำลองทางคณิตศาสตร์มาใช้ในการปรับคะแนน[8]

การทดสอบของโครงการฯ มีค่าใช้จ่าย โดยประเทศที่เข้าร่วมเป็นผู้ชำระ