อนุสรณ์สถานนี้ถูกวิจารณ์ว่าระลึกถึงเพียงแต่เหยื่อฮอโลคอสต์ที่เป็นชาวยิว[15] กระนั้น นับจากอนุสรณ์สถานนี้เปิด ก็มีอนุสรณ์สถานแห่งอื่นที่ระลึกถึงกลุ่มเฉพาะที่เป็นเหยื่อจากฮอโลคอสต์และนาซีเกิดขึ้น เช่น อนุสรณ์สถานแด่คนรักร่วมเพศที่ถูกสังหารภายใต้ลัทธินาซี (ปี 2008) และอนุสรณ์สถานแด่เหยื่อชาวซินตีและชาวโรมาจากแนวคิดชาตินิยมสังคมนิยม (ปี 2012) มีผู้วิจารณ์จำนวนมากเสนอว่าการออกแบบอนุสรณ์สถานควรแสดงรายชื่อของเหยื่อไปจนถึงจำนวนของเหยื่อที่ถูกสังหารและสถานที่ที่มีการสังหารเหยื่อเหล่านี้

เนื่องจากบริเวณของอนุสรณ์สถานยังถูกใช้งานเป็นพื้นที่นันทนาการในย่านใจกลางนครเบอร์ลิน ทำให้มีความโกรธเคืองเกิดขึ้นเมื่อมีผู้พบเห็นการใช้งานอนุสรณ์สถานนี้อย่างสนุกสนานและมองว่าเป็นการดูหมิ่นสถานที่ นักวิจารณ์สถาปัตยกรรม นิโกไล อูรูสซอฟ ระบุว่า "วันที่ผมเดินทางไปเยือนอนุสรณ์นี้ [ผมพบกับ]เด็กชายวัยสองขวบกำลังเล่นอยู่บนยอดของเสา – พยายามที่จะปีนป่ายจากเสาหนึ่งไปอีกเสา ในขณะที่แม่ของเขาจับมือเด็กน้อยโดยเนิบ"[16] ในปี 2016 เกิดข้อครหาขึ้นหลังมีรายงานโดยมูลนิธิของอนุสรณ์สถานว่าแอปเกม Pokémon Go ใช้อนุสรณ์สถานนี้เป็นหนึ่งในจุดที่ผู้เล่นสามารถมาจับตัวโปเกม่อนได้[17] ผู้คนจำนวนมากโกรธเคืองกรณีนี้เพราะมองว่าเป็นการดูหมิ่นสถานที่[17] ในต้นปี 2017 ศิลปินชาวอิสราเอล ชาฮัก ชาปีรา สังเกตเห็นคนหนุ่มสาวจำนวนมากเผยแพร่ภาพบนสื่อสังคม เช่น เฟซบุ๊ก, อินสตาแกรม, ทินเดอร์ และ ไกรน์เดอร์ ด้วยภาพเซลฟีของตนด้วยใบหน้ายิ้มแย้มถ่ายที่อนุสรณ์สถานนี้ ไปจนถึงภาพถ่ายของตนทำโยคะ กระโดด หรือเต้นรำบนแผ่นคอนกรีตของอนุสรณ์สถาน เขาจึงทำการสร้างโครงการศิลปะซึ่งนำเอาภาพเหล่านี้ไปวางตัดกัน (juxtaposing) กับภาพถ่ายจากค่ายสังหารหมู่ของนาซี เพื่อเตือนให้ระลึกถึงพฤติกรรมไม่เหมาะสมที่อนุสรณ์สถานเช่นนี้ โดยเขาตั้งชื่อผลงานชุดนี้ว่า "Yolocaust"[18] ("โยโล่คอสต์" เป็นการเล่นคำโดยผสมคำว่า "โยโล่" เข้ากับฮอโลคอสต์)