เริ่มทำงานเป็นนักเศรษฐศาสตร์ ประจำธนาคารโลก ที่กรุงวอชิงตัน ดี.ซี. สหรัฐอเมริกา ต่อมาจึงกลับมารับราชการจนได้รับตำแหน่งสูงสุดคือ รองเลขาธิการคณะกรรมการพัฒนาการเศรษฐกิจและสังคมแห่งชาติ (สศช.)

เริ่มเข้าสู่งานการเมืองโดยการรับตำแหน่งเลขาธิการนายกรัฐมนตรี (พลเอกสุจินดา คราประยูร) ในปี พ.ศ. 2535[4] และรับตำแหน่งรัฐมนตรีช่วยว่าการกระทรวงเกษตรและสหกรณ์ ในรัฐบาลของนายอานันท์ ปันยารชุน[5] และรับตำแหน่งรัฐมนตรีว่าการกระทรวงเกษตรและสหกรณ์อีกครั้ง ในรัฐบาลของนายอานันท์ พ.ศ. 2535[6]

ต่อมาในปี พ.ศ. 2537 ได้เข้ารับตำแหน่งกรรมการบริหารธนาคารกรุงเทพ จนกระทั่งในปี พ.ศ. 2538 จึงได้รับตำแหน่งรัฐมนตรีว่าการกระทรวงอุตสาหกรรม ในรัฐบาลของนายบรรหาร ศิลปอาชา แทนนายไชยวัฒน์ สินสุวงศ์ และตำแหน่งรัฐมนตรีว่าการกระทรวงการคลัง ในรัฐบาลของพลเอกชวลิต ยงใจยุทธ[7] แทนนายทนง พิทยะ หลังจากนั้นในปี พ.ศ. 2542 จึงได้เข้ารับตำแหน่งประธานกรรมการบริหารธนาคารกรุงเทพ

นายโฆสิต กลับเข้าสู่งานการเมืองอีกครั้ง ในรัฐบาลของพลเอกสุรยุทธ์ จุลานนท์ โดยรับตำแหน่งรองนายกรัฐมนตรี และรัฐมนตรีว่าการกระทรวงอุตสาหกรรม[8] และได้รับแต่งตั้งให้รักษาการรัฐมนตรีว่าการกระทรวงเทคโนโลยีสารสนเทศและการสื่อสาร (ไอซีที) แทนนายสิทธิชัย โภไคยอุดม ซึ่งลาออกจากตำแหน่งจากกรณีการถือหุ้นเกินร้อยละ 5 ตั้งแต่วันที่ 30 กันยายน พ.ศ. 2550[9][10]

นายโฆสิต เคยได้รับแต่งตั้งเป็นสมาชิกวุฒิสภา เมื่อปี พ.ศ. 2539[11]