บ่อยครั้งที่ผู้คนพากันเชื่อว่า วังปาฏิหาริย์เป็นซ่องโจร มีหัวหน้ามีสถาบันของตนเองเพื่อแบ่งหน้าที่กันฉกชิงวิ่งราว ความเชื่อเช่นนี้เป็นของปรกติในกาลครั้งนั้น แต่น่าจะเป็นเรื่องเล่าขานกันสนุกปากมากกว่าเป็นเรื่องจริง ตัวอย่างเช่น ว่ากันว่า มีนักเรียนเรียนไม่จบกลุ่มหนึ่งคอยออกสั่งสอนคำหยาบประจำท้องถิ่นให้แก่ผู้มาใหม่ และเรียกนักเรียนเหล่านี้ว่า "อาร์ชิสซูพ็อตส์" (archissupots) เรื่องเล่าเช่นนี้เป็นเพราะในคริสต์ศตวรรษที่ 17 ซึ่งเรียกกันว่าเป็นวิกฤติกาล (time of crisis) นั้น เหล่านักเรียนนักศึกษามักสานความสัมพันธ์กับกลุ่มมิจฉาชีพ[4]

อย่างไรก็ดี อ็องรี โซวาล (Henri Sauval) นักประวัติศาสตร์ในสมัยคริสต์ศตวรรษที่ 17 ยืนยันว่า วังปาฏิหาริย์เป็น "ถนนสายตันที่เหม็นสาบคละคลุ้ง, ไขเสนียดเฉอะแฉะ, ไม่สงบ และขรุขระ" เขาบันทึกว่า ท้องที่นี้ใช้ภาษาของตนเอง และมีวัฒนธรรมเป็นโจรและชอบสำส่อนทางเมถุนธรรม เขาว่า "พวกมันล้วนแต่แพศยาหื่นกาม ไม่มีใครตั้งอยู่ในศาสนาหรือกฎหมาย ไม่มีใครรู้จักบาปบุญคุณโทษ, การสมรส และศาสนกิจ"[1] ขณะที่ เซอร์วิลเลียม วอลตัน (William Walton) นักวรรณศิลป์ชาวอังกฤษ กล่าวว่า "เหล่ายาจกที่ซ่อนเร้นอยู่ในมุมเมืองปารีสใช้สถานที่นี้เป็นร่มไม้ชายคา พวกเขามืดมน โสโครก สถุล และมีลับลมคมใน เสแสร้งว่าป่วยเจ็บ และชอบฉกชิงวิ่งราว"[5]

วังปาฏิหาริย์ขยายตัวเป็นอันมากในรัชกาลพระเจ้าหลุยส์ที่ 14 (ค.ศ. 1654-1715) และเกิดขึ้นชุกชุมในกรุงปารีส แถว ๆ สำนักนางชีฟีย์-ดีเยอ (Filles-Dieu convent), ถนนต็องปล์ (Rue du Temple), ราชวังฌุสเซียน (Court of Jussienne), ถนนเรออูยยี (Reuilly Street), ถนนแซ็งต์ฌ็องและตูร์แนลโบซีร์ (Rue St. Jean et Tournelles Beausire) , ถนนเลแฌ็ล (Rue de l'Echelle) และกลางถนนไกโร (Cairo Street) กับถนนโรมูร์ (Rue Reaumur)[2] โดยเฉพาะวังปาฏิหาริย์แถว ๆ กลางถนนไกโรกับถนนโรมูร์นี้เป็นแรงบันดาลใจของ วิกตอร์ อูโก ในการสร้างสรรค์วรรณกรรมเรื่อง เลมีเซราบล์ (Les Misérables, เหยื่ออธรรม) กับเรื่อง นอทร์-ดามเดอปารี[2]