X ทำงานแบบไคลแอนต์-เซอร์ฟเวอร์ โดยที่ X เซอร์ฟเวอร์ติดต่อกับโปรแกรมที่เป็นไคลแอนต์ต่างๆ เซอร์ฟเวอร์มีหน้าที่รับคำสั่งแสดงผลทางหน้าต่าง และรับอินพุตจากผู้ใช้ทางคีย์บอร์ด เมาส์ หรือ จอสัมผัส เซอร์ฟเวอร์อาจจะเป็น

• โปรแกรมที่นำหน้าต่างไปแสดงผลในระบบการแสดงผลอีกระบบ
• โปรแกรมระบบที่ควบคุมจอภาพ
• ฮาร์ดแวร์โดยเฉพาะ

ส่วนโปรแกรมต่างๆที่ต้องการแสดงผลหรือรับอินพุตคือไคลแอนต์

การกำหนดไคลแอนต์และเซอร์ฟเวอร์ในระบบ X มักทำให้ผู้ใช้ใหม่สับสน เพราะดูเหมือนจะสลับกัน แต่ X ใช้มุมมองของโปรแกรมเป็นหลัก โดยโปรแกรมเป็นฝ่ายเรียกใช้บริการจึงถือเป็นไคลแอนต์ ส่วนระบบควบคุมการแสดงผลและนำเข้าเป็นผู้ใช้บริการจึงถือเป็นเซอร์ฟเวอร์

โพรโทคอลที่ให้ติดต่อระหว่างเซอร์ฟเวอร์กับไคลแอนต์ ทำได้ทั้งกรณีที่เซิร์ฟเวอร์และไคลแอนต์อยู่ในเครื่องเดียวกัน อยู่คนละเครื่องติดต่อผ่านทางเครือข่ายคอมพิวเตอร์ แม้กระทั่งอาจทำงานบนคนละสถาปัตยกรรมและระบบปฏิบัติการก็ได้ เซอร์ฟเวอร์และไคลแอนต์สามารถเชื่อมต่อกันผ่านทางอินเทอร์เน็ตได้ อีกทั้งสามารถเข้ารหัสการติดต่อสื่อสารเพื่อความปลอดภัยได้

เวลาใช้ผ่านทางเครือข่าย ผู้ใช้ซึ่งอยู่หน้าเครื่องที่มีจอภาพและอุปกรณ์อินพุต (ในที่นี้คือ X เซอร์ฟเวอร์) จะติดต่อกับเครื่องที่อยู่ไกลออกไป ซึ่งอาจต่อเข้าทาง telnet หรือ ssh เป็นต้น แล้วเรียกโปรแกรมประยุกต์ (ในที่นี้คือไคลแอนต์) ให้มาแสดงผลและรับอินพุตจากเครื่องของผู้ใช้ ในระบบปฏิบัติการยูนิกซ์หรือคล้ายยูนิกซ์จะใช้วิธีกำหนดหมายเลขไอพีของเครื่องผู้ใช้ในตัวแปรสภาพแวดล้อม (environment variable) ที่ชื่อ DISPLAY