ก่อนปี พ.ศ. 2438 พื้นที่ที่เป็นจังหวัดคย็องซังใต้ในปัจจุบันเคยเป็นส่วนหนึ่งของจังหวัดคย็องซัง หนึ่งในแปดจังหวัดของเกาหลีในสมัยราชวงศ์โชซ็อน ในปี พ.ศ. 2438 ทางใต้ของจังหวัดคย็องซังได้ถูกแทนที่โดยเขตชินจูในทางด้านทิศตะวันตกและทงแน ในทางตะวันออก ต่อมาในปี 2439 ทั้งสองเขตนี้ก็ยุบรวมกันเป็นจังหวัดคย็องซังใต้

แต่เดิมเมืองเอกของจังหวัดตั้งอยู่ที่ชินจู ต่อจากนั้นก็ย้ายไปปูซานในปี พ.ศ. 2468 ในปี พ.ศ. 2488 จังหวัดคย็องซังใต้กลายเป็นส่วนหนึ่งของเกาหลีใต้ ต่อมาในปี 2506 ปูซานก็ได้แยกออกจากจังหวัดคย็องซังใต้ ไปเป็นนครที่ปกครองโดยตรง (ชิกฮัล-ชี) และในปี พ.ศ. 2526 ก็ได้ย้ายเมืองเอกจากปูซานไปชังว็อน

ในปี พ.ศ. 2538 ปูซานได้มีฐานะเป็น มหานคร (ควังย็อก-ชี) และอุลซัน ก็ได้แยกออกจากจังหวัดคย็องซังใต้ ไปเป็นมหานครในปี พ.ศ. 2541