แนวคิดเรื่องเครื่องจักรที่คิดได้และสิ่งมีชีวิตเทียมนั้นมีมาตั้งแต่สมัยกรีกโบราณ เช่นหุ่นยนต์ทาลอสแห่งครีต อันเป็นหุ่นยนต์ทองแดงของเทพฮิฟีสตัส แหล่งอารยธรรมใหญ่ ๆ ของโลกมักจะเชื่อเรื่องหุ่นยนต์ที่มีความคล้ายกับมนุษย์ เช่น ในอียิปต์และกรีซ ต่อมา ช่วงกลางศตวรรษที่ 19 และ 20 สิ่งมีชีวิตเทียมเริ่มปรากฏอย่างแพร่หลายในนิยายวิทยาศาสตร์ เช่น แฟรงเกนสไตน์ของแมรี เชลลีย์ หรือ R.U.R.ของกาเรล ชาเปก แนวคิดเหล่านี้ผ่านการอภิปรายมาอย่างแพร่หลาย โดยเฉพาะในแง่ของความหวัง ความกลัว หรือความกังวลด้านศีลธรรมเนื่องจากการมีอยู่ของปัญญาประดิษฐ์

กลไกหรือการให้เหตุผลอย่างมีแบบแผน ได้รับการพัฒนาขึ้นโดยนักปรัชญาและนักวิทยาศาสตร์มาตั้งแต่สมัยโบราณ การศึกษาด้านตรรกศาสตร์นำไปสู่การคิดค้นเครื่องคำนวณอิเล็กทรอนิกส์ดิจิทัลที่โปรแกรมได้โดยอาศัยหลักการทางคณิตศาสตร์ของแอลัน ทัวริงและคนอื่น ๆ ทฤษฎีการคำนวณของทัวริงชี้ว่า เครื่องจักรที่รู้จักการสลับตัวเลขระหว่าง 0 กับ 1 สามารถเข้าใจนิรนัยทางคณิตศาสตร์ได้ หลังจากนั้น การค้นพบทางด้านประสาทวิทยา ทฤษฎีสารสนเทศ และไซเบอร์เนติกส์ รวมทั้งทฤษฎีการคำนวณของทัวริง ได้ทำให้นักวิทยาศาสตร์บางกลุ่มเริ่มสนใจพิจารณาความเป็นไปได้ของการสร้าง สมองอิเล็กทรอนิกส์ ขึ้นมาอย่างจริงจัง

สาขาปัญญาประดิษฐ์นั้นเริ่มก่อตั้งขึ้นในที่ประชุมวิชาการที่วิทยาลัยดาร์ตมัธ สหรัฐอเมริกาในช่วงหน้าร้อน ค.ศ. 1956[2] โดยผู้ร่วมในการประชุมครั้งนั้น ได้แก่ จอห์น แม็กคาร์ธีย์ มาร์วิน มินสกี อัลเลน นิวเวลล์ อาเธอร์ ซามูเอล และเฮอร์เบิร์ต ไซมอน ที่ได้กลายมาเป็นผู้นำทางสาขาปัญญาประดิษฐ์ในอีกหลายสิบปีต่อมา นักวิทยาศาสตร์และนักศึกษาของพวกเขาเหล่านี้เขียนโปรแกรมที่หลายคนทึ่ง ไม่ว่าจะเป็น คอมพิวเตอร์ที่สามารถเอาชนะคนเล่นหมากรุก แก้ไขปัญหาเกี่ยวกับคำด้วยพีชคณิต พิสูจน์ทฤษฎีทางตรรกวิทยา หรือแม้กระทั่งพูดภาษาอังกฤษได้ ผู้ก่อตั้งสาขาปัญญาประดิษฐ์กลุ่มนี้เชื่อมั่นในอนาคตของเทคโนโลยีใหม่นี้มาก โดยเฮอร์เบิร์ต ไซมอนคาดว่าจะมีเครื่องจักรที่สามารถทำงานทุกอย่างได้เหมือนมนุษย์ภายใน 20 ปีข้างหน้า และมาร์วิน มินสกีก็เห็นพ้องโดยการเขียนว่า "เพียงชั่วอายุคน ปัญหาของการสร้างความฉลาดเทียมจะถูกแก้ไขอย่างยั่งยืน"

อย่างไรก็ตาม นักวิทยาศาสตร์กลุ่มนี้กลับไม่ได้พิจารณาถึงความยากของปัญหาที่จะพบมากนัก ในปี ค.ศ. 1974 เซอร์ เจมส์ ไลท์ฮิลล์ ได้เขียนวิพากษ์วิจารณ์สาขาปัญญาประดิษฐ์ ประกอบกับมีแรงกดดันจากสภาคองเกรสของสหรัฐฯให้ไปให้เงินสนับสนุนโครงการมีผลผลิตออกมาเป็นรูปธรรมมากกว่า ดังนั้น รัฐบาลสหรัฐอเมริกาและสหราชอาณาจักรจึงได้ตัดงบประมาณการวิจัยที่ไร้ทิศทางของสาขาปัญญาประดิษฐไป จนเป็นยุคที่เรียกว่า หน้าหนาวของปัญญาประดิษฐ์ (AI winter) กินเวลาหลายปี ซึ่งโครงการด้านปัญญาประดิษฐ์แต่ละโครงการนั้นหาเงินทุนสนับสนุนยากมาก

ในช่วงต้นคริสต์ทศวรรษ 1980 งานวิจัยด้านปัญญาประดิษฐ์ประสบความสำเร็จในเชิงพาณิชย์เป็นครั้งแรก ด้วยระบบที่ชื่อว่า ระบบผู้เชี่ยวชาญ อันเป็นระบบคอมพิวเตอร์ที่ช่วยในการหาคำตอบ อธิบายความไม่ชัดเจน ซึ่งปกตินั้นจะใช้ผู้เชี่ยวชาญในแต่ละสาขาตอบคำถามนั้น ในปี ค.ศ. 1985 ตลาดของปัญญาประดิษฐ์ทะยานขึ้นไปแตะระดับ 1 พันล้านดอลลาร์สหรัฐ ในขณะเดียวกัน โครงการคอมพิวเตอร์รุ่นที่ 5 ของญี่ปุ่นก็ได้จุดประกายให้รัฐบาลสหรัฐอเมริกาและสหราชอาณาจักรหันมาให้เงินทุนสนับสนุนงานวิจัยในสาขาปัญญาประดิษฐ์อีกครั้ง

ในคริสต์ทศวรรษ 1990 และช่วงต้นคริสต์ศตวรรษที่ 21 ปัญญาประดิษฐ์ประสบความสำเร็จอย่างสูงแม้ว่าจะมีหลายอย่างที่อยู่เบื้องหลัง มีการนำปัญญาประดิษฐ์มาใช้ในด้านการขนส่ง การทำเหมืองข้อมูล การวินิจฉัยทางการแพทย์ และในอีกหลายสาขาหลายอุตสาหกรรม ความสำเร็จของปัญญาประดิษฐ์นั้นได้รับการผลักดันมาจากหลายปัจจัย ไม่ว่าจะเรื่องของความเร็วของคอมพิวเตอร์ที่มีการประมวลผลที่เร็วขึ้น (ตามกฎของมัวร์) การให้ความสำคัญกับการแก้ปัญหาย่อยบางปัญหา การสร้างความเชื่อมโยงระหว่างปัญญาประดิษฐ์กับสาขาอื่น ๆ ที่ทำงานอยู่กับปัญญาที่คล้าย ๆ กัน ตลอดจนความมุ่งมั่นของนักวิจัยที่ใช้วิธีการทางคณิตศาสตร์และวิทยาศาสตร์ที่มีหลักการ

เมื่อวันที่ 11 พฤษภาคม ค.ศ. 1997 เครื่องดีปบลูของบริษัทไอบีเอ็ม กลายมาเป็นคอมพิวเตอร์เครื่องแรกของโลกที่สามารถเล่นหมากรุกเอาชนะ แกรี คาสปารอฟ แชมป์โลกในขณะนั้นได้ และในเดือนกุมภาพันธ์ ค.ศ. 2011 เครื่องวัตสันของบริษัทไอบีเอ็มก็สามารถเอาชนะแชมป์รายการตอบคำถามจีโอพาร์ดีได้แบบขาดลอย นอกจากนี้ เครื่องเล่นเกมอย่าง Kinect ก็ใช้เทคโนโลยีของปัญญาประดิษฐ์ มาใช้ในการสร้างส่วนติดต่อกับผู้ใช้ผ่านทางการเคลื่อนไหวร่างกายใน 3 มิติเช่นกัน