กีฬามวยสากลสมัครเล่นในโอลิมปิกฤดูร้อน 2004 จัดขึ้นที Peristeri Olympic Boxing Hall การแข่งขันจัดเฉพาะประเภทชาย ชกสี่ยก ยกละ 2 นาที กรรมการให้คะแนนมี 5 คนสามวันก่อนการแข่งขัน คณะกรรมการโอลิมปิกสากลได้คว่ำบาตรนักมวยสากลสมัครเล่นชาวเคนยา ดาวิด มุนยาเซีย ในข้อหาโด๊ปยา และถูกตัดออกจากการแข่งขัน[1] นักมวยสากลสมัครเล่นหลายคนที่เข้าแข่งขันกีฬาโอลิมปิกครั้งนี้ ภายหลังขึ้นชกมวยสากลอาชีพและได้เป็นแชมป์โลก ได้แก่ อาเมียร์ ข่าน อังเดร วอร์ด เกนเนดี โกลอฟกิน ยูริออร์กิส แกมบัว และ กิลเลอร์โม รีกองเดอซ์