ในปี 1950 เมื่อยังทำงานอยู่ที่ห้องปฏิบัติการแห่งชาติลอสอาลามอส (Los Alamos National Laboratory) แฟร์มีคุยกับเพื่อนร่วมงาน (รวมทั้ง เอ็ดเวิร์ด เทลเลอร์) เมื่อกำลังเดินไปทานอาหารกลางวัน[22]เรื่องยูเอฟโอกับเรื่องการ์ตูน[23]ที่ทะเล้น ๆ โทษมนุษย์ต่างดาวเรื่องถังขยะของเมืองที่หายไปแม้จะได้เปลี่ยนไปคุยเรื่องอื่น แต่ในช่วงกำลังทานอาหาร แฟร์มีได้อุทานว่า พวกเขาอยู่ที่ไหนเทลเลอร์จำได้ว่า คำถามนี้ทำให้ทุกคนหัวเราะเพราะแปลกดีว่า แม้อยู่ดี ๆ แฟร์มีก็ถามคำถามนี้ขึ้นมา แต่ทุกคนที่โต๊ะกินข้าวก็เข้าใจทันทีว่าเขากำลังพูดถึงสิ่งมีชีวิตนอกโลก[24]เพื่อนอีกคนหนึ่ง (Herbert York) จำได้ว่า แฟร์มีต่อจากนั้นได้คำนวณค่าความน่าจะเป็นของการมีดาวเคราะห์เช่นกับโลกและของสิ่งมีชีวิต ความเป็นไปได้ของการเกิดและการดำรงอยู่ของอารยธรรมที่มีเทคโนโลยีซึ่งก้าวหน้าเป็นต้น แล้วสรุปว่า โลกน่าจะมีมนุษย์ต่างดาวมาเยี่ยมตั้งนานแล้วและหลายครั้งแล้ว

แม้ชื่อของแฟร์มีจะเป็นชื่อของปฏิทรรศน์ แต่เขาไม่ใช่บุคคลแรกที่ถามคำถามนี้เช่น นักวิทยาศาสตร์ชาวรัสเซียได้กล่าวถึงเรื่องนี้ในเอกสารที่ไม่ได้เผยแพร่ตั้งแต่ปี 1933 แล้ว[25]เขาได้ให้ข้อสังเกตว่า "คนทั่วไปปฏิเสธว่ามีสิ่งมีชีวิตที่ชาญฉลาดที่ดาวเคราะห์ต่าง ๆ ของเอกภพ" เพราะ "1. ถ้าสิ่งมีชีวิตเช่นนี้มี ก็ควรจะได้มาเยี่ยมโลกเราแล้ว และ 2. ถ้าอารยธรรมเช่นนี้มี ก็จะแสดงร่องรอยให้เราเห็น"แม้นี่ฟังดูไม่ใช่ปฏิทรรศน์สำหรับคนอื่น ๆ ผู้อาจคิดว่าข้อความนี้แสดงนัยว่า ไม่มีมนุษย์ต่างดาว แต่ก็เป็นปฏิทรรศน์สำหรับผู้เขียนผู้เชื่อเรื่องสิ่งมีชีวิตนอกโลกและการเดินทางในอวกาศอย่างจริงจังดังนั้น เขาจึงเสนอสมมติฐานสวนสัตว์ (zoo hypothesis) ที่คาดว่า มนุษย์ยังไม่พร้อมให้สิ่งมีชีวิตเช่นนี้ติดต่อ[26]แต่แม้นักวิทยาศาสตร์ผู้นี้เองก็อาจไม่ใช่คนแรกที่กล่าวถึงปฏิทรรศน์ เพราะเขาได้อ้างอิงคนอื่น ๆ ที่ได้ปฏิเสธการมีอารยธรรมนอกโลก

ต่อมาในปี 1975 นักฟิสิกส์ดาราศาสตร์ไมเคิล ฮาร์ต ได้ตีพิมพ์งานตรวจสอบปฏิทรรศน์นี้อย่างละเอียด[9]ซึ่งได้กลายเป็นแหล่งอ้างอิงทางงานวิจัยในเรื่องนี้ซึ่งบางครั้งเรียกว่า ปฏิทรรศน์ของแฟร์มี-ฮาร์ต (อังกฤษ: Fermi-Hart paradox)[27]คนอื่น ๆ อาจชอบชื่อนี้เพราะ "แม้แฟร์มีจะได้เครดิตว่า ถามคำถามนี้เป็นคนแรก แต่ฮาร์ตก็เป็นคนแรกที่วิเคราะห์ปัญหาอย่างละเอียดแล้วแสดงว่า ปัญหาแก้ไม่ได้ง่าย ๆ และก็เป็นคนแรกที่ตีพิมพ์ผลงานของตน"[28]ส่วนนักเขียนอีกท่านหนึ่งอ้างว่า คำว่า ปฏิทรรศน์ของแฟร์มี เป็นชื่อไม่เหมาะสม เพราะเรื่องนี้ไม่ใช่ปฏิทรรศน์ด้วย ไม่ควรให้เครดิตแฟร์มีด้วยแต่ชอบชื่อ อาร์กิวเมนต์ของฮาร์ต-ทิปเลอร์ (อังกฤษ: Hart-Tipler argument) เพราะให้เครดิตฮาร์ตว่าเป็นผู้เริ่มต้น และให้เครดิตนักฟิสิกส์ชาวอเมริกันแฟรงก์ เจ. ทิปเลอร์ ว่าช่วยต่อยอดอาร์กิวเมนต์นี้[29]

ชื่ออื่น ๆ ที่คล้ายกับคำถามของแฟร์มี (คือ พวกเขาอยู่ที่ไหน) รวมทั้ง Great Silence (ความเงียบอย่างมหันต์)[30][31][32][33]และ silentium universi (ความเงียบของเอกภพ)[33]แม้คำเหล่านี้จะกล่าวถึงเพียงแค่ส่วนเดียวของปฏิทรรศน์ คือความไม่มีหลักฐานว่ามีอารยธรรมอื่น