ประธานาธิบดีจิมมี คาร์เตอร์ได้เสนอชื่อเมื่อวันที่ 14 เมษายน 2523 ให้กินส์เบิร์กเข้าดำรงตำแหน่งผู้พิพากษาศาลอุทธรณ์สหรัฐ ภาคแขวงโคลัมเบีย ซึ่งว่างลงเนื่องจากการเสียชีวิตของผู้พิพากษาแฮโรวด์ เลเวนธาล[5] วุฒิสภาสหรัฐยืนยันให้กินส์เบิร์กเข้าดำรงตำแหน่งเมื่อวันที่ 18 มิถุนายน 2523 และได้รับการตอบรับให้เข้าดำรงตำแหน่งในวันเดียวกันนั้น[5] กินส์เบิร์กยุติบทบาทในศาลอุทธรณ์เมื่อวันที่ 9 สิงหาคม 2536 เนื่องจากได้รับการแต่งตั้งให้ดำรงตำแหน่งในศาลสูงสหรัฐ[5][6][7]

ในระหว่างที่กินส์เบิร์กเป็นผู้พิพากษาประจำแขวงโคลัมเบีย กินส์เบิร์กมักมีความเห็นพ้องกับผู้พิพากษาด้วยกัน เช่น ผู้พิพากษาโรเบิร์ด เอช. บอร์ก และผู้พิพากษาแอนโทนิน สกาเลีย ซึ่งเป็นฝ่ายอนุรักษ์นิยม [8][9] ในระหว่างวาระการดำรงตำแหน่ง กินส์เบิร์กได้ชื่อว่าเป็น "นักกฎหมายที่มีความระมัดระวัง" และมีความคิดไปในโทนกลาง [10] ผู้พิพากษาเดวิด เอส. ทาเทล ได้เข้ามาดำรงตำแหน่งแทนกินส์เบิร์กหลังจากกินส์เบิร์กได้รับการแต่งตั้งเป็นตุลาการศาลสูงสุดสหรัฐ[11]