จากตำรารอยขูดขีดเขียนไม่น้อยระบุไว้ตรงกันว่า รอยขูดขีดเขียนเริ่มต้นขึ้นในเมืองฟิลาเดลเฟียในช่วงทศวรรษที่ 60 ก่อนจะแพร่เข้ามายังนิวยอร์กในทศวรรษต่อมาสาเหตุการเกิดของรอยขูดขีดเขียนนั้น ในยุคสมัยที่การเหยียดสีผิวเป็นไปอย่างเข้มข้น ไม่ว่าจะเป็นเหตุการณ์ในปี ค.ศ. 1954 ที่ผู้ปกครองนักเรียนผิวสีรวมตัวเรียกร้องขอความเป็นธรรม กรณีที่คณะกรรมการโรงเรียนแห่งรัฐแคนซัสปฏิเสธที่จะรับเด้กผิวสีเข้าศึกษา และในปีถัดมา สตรีผิวสีนาม โรซา พาร์กส ที่เธอถูกตัดสินมีความผิดฐานละเมิดกฎหมายที่จะสละที่นั่งของเธอให้บุรุษผิวขาวตามที่กฎหมายของรัฐกำหนด เป็นที่มาของการเคลื่อนไหวให้เกิดการปฏิรูปกฎหมายว่าด้วยสิทธิพลเมือง จนกระทั่งเกิดกฎหมายนี้ขึ้นในปี ค.ศ. 1964 แต่ว่าคนผิวสีก็ยังตกอยู่ในสภาพคนชายขอบของสังคม ได้เป็นแรงผลักดันให้พวกเขาสร้างสรรค์งานศิลปะ ทั้งเพลงบลูส์ แจ๊ซ และเร้กเก้ และอีกด้านหนึ่งของคนผิวสีที่ต้องเผชิญ พวกเขาได้แสดงออกมาอย่างเกรี้ยวกราด ดิบหยาบ ประกาศให้เห็นถึงความ ขบถ ดังเช่น ดนตรีแร็ปที่เต็มไปด้วยคำด่าทอสังคมอย่างไม่เกรงกลัว รอยขูดขีดเขียนถือกำเนิดมาในยุคสมัยนี้

ในช่วยปลายทศวรรษที่ 60 รอยขูดขีดเขียนเดินทางเข้าสู่นิวยอร์ก โดย JULIO204 ไรเตอร์จากสลัมย่านบรองซ์นำเข้าไปเผยแพร่ ต่อมาในปี ค.ศ. 1969 ที่นิวยอร์ก "ทากิ" ไรเตอร์ชื่อดังที่ได้รับการกล่าวขานว่าเป็นสัญลักษณ์แห่งการเริ่มต้นยุคสมัยของเหล่าไรเตอร์หรือนักเขียนรอยขูดขีดเขียนโดยแท้จริง เมื่อคำว่า TAKI 183 ของเขา ได้รับการสัมภาษณ์และเปิดเผย ตีพิมพ์ภาพลายเซ็นของเขาในหนังสือพิมพ์นิวยอร์กไทม์ส คำว่า TAKI 183 ที่เขาเขียนปรากฏให้เห็นทั้งในรถไฟใต้ดินและสถานที่สำคัญอย่างบรอดเวย์ สนามบินเคนเนดี รวมทั้งที่ต่าง ๆ ทั้งในนิวเจอร์ซีย์ คอนเนตทิคัต และสถานที่อื่น ๆ ทั่วนิวยอร์ก

หลังจากหนังสือพิมพ์ฉบับนี้ได้วางแผง วัยรุ่นจำนวนไม่น้อยต่างประทับใจในชื่อเสียงของทากิ พวกเขาจึงเริ่มเขียนชื่อของตัวเองตามสถานที่สาธารณะ จนค่อย ๆ ได้รับความนิยมและคึกคักในเวลาต่อมา โดยเฉพาะอย่างยิ่งช่วงต้นทศวรรษที่ 70 รอยขูดขีดเขียนได้ถูกเขียนเต็มไปหมดจากไรเตอร์อย่าง TRACY168 StayHigh149 และ PHASE2 เริ่มเขียน "tag" (แท็ก) หรือลายเซ็นของตนตามโบกี้รถไฟ

ในปี ค.ศ. 1972 TOPCAT ได้นำเทคนิคใหม่ เข้าสู่นิวยอร์ก คือตัวอักษรยาว ๆ เก้งก้างเต็มพื้นที่คอนเทนเนอร์รถไฟ ต่อมารูปแบบนี้ได้รับความนิยมจากเหล่าไรเตอร์นิวยอร์ก และเรียกว่าเป็น "Broadway Elegant" ซึ่งมีลักษณะเป็นตัวอักษรที่เขียนต่อก่อเป็นแถวยาว ๆ

ปี ค.ศ. 1973 รอยขูดขีดเขียนปรากฏอยู่แทบทุกซอกมุมตึกในนิวยอร์ก ดังที่ ริชาร์ด โกด์สไตน์ เขียนลงนิวยอร์กแม็กกาซีนไว้ว่า "ดูเหมือนเหล่าวัยรุ่นหนุ่ม ๆ แทบจะไม่สนใจอะไรเลย นอกจากมองหาทำเลที่พวกเขาจะพ่นรอยขูดขีดเขียน" โกลด์สไตน์เองได้จัดให้มีการประกวดรางวัล "ทากิอวอร์ด" ขึ้นเพื่อคัดเลือกรอยขูดขีดเขียนที่เขาคิดว่าดีที่สุดในขณะนั้น โกลด์สไตน์กล่าวอีกว่า กระแสความคลั่งไคล้รอยขูดขีดเขียนในขณะนั้น ไม่ต่างจากความบ้าคลั่งที่พวกเขามีต่อดนตรียุคร็อกแอนด์โรลในยุคทศวรรษที่ 50 เลย

รอยขูดขีดเขียนได้รับความนิยมขึ้นอีก เมื่อไรเตอร์จากประเทศต่าง ๆ หรือแต่ละท้องถิ่นนำผลงานของตนไปเผยแพร่ตามที่ต่างๆ จากทั่วสหรัฐอเมริกาถูกส่งต่อไปหลายประเทศในยุโรป นอกจากนั้นยังมีการจัดกิจกรรมเกี่ยวกับรอยขูดขีดเขียนขึ้นอย่างต่อเนื่องที่ แอลเอ นิวยอร์ก หรือย่านมิดเวสต์ โดยงานแรก ๆ ที่ถูกบันทึกไว้คืองาน Frame Exhibition ที่แอลเอราวปี ค.ศ. 1988 และในปี ค.ศ. 1993-1996 Chicago Transit Authority (CTA) รับเป็นผู้สนับสนุนหลักในการจัดการแข่งขันรอยขูดขีดเขียน โดยผู้ชนะเลิศจะได้ทุนการศึกษาและได้เข้าเรียนในโรงเรียนสอนศิลปะ นับเป็นตัวอย่างแรก ๆ ของการนำรอยขูดขีดเขียนเข้าสู่ "พื้นที่จัดวาง" อย่างเป็นระบบ

กระแสรอยขูดขีดเขียนในระดับสากลได้เกิดขึ้นเมื่อเว็บไซต์รอยขูดขีดเขียน ที่ชื่อ Art Crimes ในโลกออนไลนด์เกิดขึ้นเป็นครั้งแรกเมื่อเดือน กันยายน ปี ค.ศ. 1994 โดยในปี 1999 อาร์ตไครมส์อ้างว่าเว็บไซต์ของเขามีภาพรอยขูดขีดเขียนมากกว่า 3,000 ภาพจาก 205 เมือง ใน 43 ประเทศทั่วโลก ซึ่งการเกิดของอาร์ตไครมส์ได้เกิดไรเตอร์หน้าใหม่และนิตยสารเกี่ยวกับรอยขูดขีดเขียนแพร่หลายขึ้น

ทุกวันนี้รอยขูดขีดเขียนพัฒนากลายเป็นแฟชั่นที่พบเห็นในชีวิตประจำวัน ทั้งลวดลายแท็กที่พบตามเสื้อผ้าแนวสตรีตอาร์ตไม่ว่าจะเป็นรองเท้าผ้าใบ ไปจนถึงมิวสิกวิดีโอโดยศิลปินฮิปฮอปในเอ็มทีวี ซึ่งมักมีภาพรอยขูดขีดเขียนปรากฏเป็นแบ็กกราวด์