ที่มาของภาพสามารถสืบย้อนกลับไปที่งานขายสินค้าในเดอะเฮกในปี ค.ศ. 1770 ซึ่งหลังจากนั้นมันถูกซื้อไปโดยนักสะสมชาวฝรั่งเศส เคานท์แห่งปอร์ตาเลส์-กอร์จิแยร์ ในปี ค.ศ. 1822 ภายหลังจากที่เขาเสียชีวิตลง ภาพวาดถูกประมูลไปจากงานประมูลของสะสมของท่านเคานท์ในปารีส ค.ศ. 1865 โดยริชาร์ด ซีย์มัวร์-คอนเวย์ มาควิสแห่งเฮิร์ทฟอร์ดที่ 4 ซึ่งให้ราคามากกว่าหกเท่าของราคาเริ่มต้น ทำให้เอาชนะราคาเสนอบารอนเจมส์ เดอ รอตช์ไชลด์ ต่อมาจึงถูกนำไปไว้ยังที่พำนักของเขาในเฮิร์ทฟอรืด โดยมีชื่อว่า ปอร์เตต์เดิงน็อง (ภาพเหมือนของผู้ชาย) จากนั้นจึงถูกซื้อต่อไปยังลอนดอน สันนิษฐานว่าเพื่อนำไปจัดแสดงในงานนิทรรศการจัดแสดงผลงานของจิตรกรชั้นครูในเบธนัลกรีน ซึ่งจงใจจัดแสดงให้ห่างจากย่านเวสต์เอนด์เพื่อดึงดูดผู้ชมจากชนชั้นแรงงาน การจัดแสดงครั้งนี้ประสบความสำเร็จอย่างมาก "แควาเลียร์" (ชื่อในแคตตาล็อกของงาน) ได้รับความสนใจอย่างมากโดยเฉพาะจากผู้คนทั่วไปและนักวิจารณ์ โดยถูกมองว่าเป็นภาพชิ้นสำคัญที่ทำให้ชื่อเสียงของฟรันส์ ฮัลส์ โด่งดังขึ้นในอังกฤษ ต่อมาในปี ค.ศ. 1888 ภาพก็ถถูกนำไปจัดแสดงอีกครั้ง ณ รอยัลอะคาเดมีออฟอาตส์ และที่แห่งนี้เองที่ทำให้ภาพได้รับการขนานนามว่า "แควาเลียร์ผู้หัวเราะ" ซึ่งจากการทำความสะอาดภาพในปี ค.ศ. 1884 ทำให้ภาพดูผิดเพี้ยนไปเล็กน้อย[7] นักวิจารณ์จากนิตยสารแอเธเนียมระบุว่าภาพดูสว่างขึ้นและเพิ่มเติมอีกว่า "บุคคลในภาพดูเหมือนยิ้มมากกว่าหัวเราะ"[8] ต่อมาตามพินัยกรรมของมาควิสแห่งเฮิร์ทฟอร์ด ของสะสมชุดนี้ก็ตกเป็นของบุตรชายนามว่า เซอร์ริชาร์ด วอลเลซ ผู้ซึ่งภรรยาม้ายของเขาได้ทำการบริจาคภาพและและบ้านในกรุงลอนดอนแก่ทางรัฐบาล จึงได้กลายมาเป็นพิพิธภัณฑ์วอลเลซมาจนถึงปัจจุบัน