กษัตริย์คนใหม่มีความกรุณาต่อน้องชายทั้งสอง พระองค์ได้แต่งตั้งจอร์จซึ่งขณะนั้นมีอายุ 11 ปีเป็นดยุคแห่งแคลเรนซ์ในปี ค.ศ. 1461 และตั้งเป็นข้าหลวงใหญ่แห่งไอร์แลนด์ในปี ค.ศ. 1462 ส่วนริชาร์ดได้รับแต่งตั้งเป็นดยุคแห่งกลอสเตอร์ ความไม่ลงรอยกันระหว่างพี่น้องเริ่มก่อตัวขึ้นในปี ค.ศ. 1464 เมื่อพระเจ้าเอ็ดเวิร์ดแต่งตั้งเอลิซาเบธ วูดวิลล์ ภรรยาของอัศวินฝ่ายแลงคัสเตอร์เป็นพระราชินี คนในครอบครัวที่ต่ำต้อยและโลภมากของพระราชินีได้รับพระราชทานตำแหน่งใหญ่ๆ เพื่อให้สมกับฐานะใหม่ของพระนาง สร้างความผิดหวังให้แก่ขุนนางเก่าแก่ โดยเฉพาะริชาร์ด เนวิลล์ เอิร์ลแห่งวอริค ลูกพี่ลูกน้องและไพร่ฟ้าผู้ทรงอำนาจของกษัตริย์ที่ต่อมาเป็นที่รู้จักในชื่อ "เอิร์ลแห่งวอริคผู้สร้างกษัตริย์ (วอริค เดอะ คิงเมกเกอร์)"

ในช่วงราวปี ค.ศ. 1468 ดยุคแห่งแคลเรนซ์ตกอยู่ใต้อิทธิพลของริชาร์ด เนวิลล์ เอิร์ลแห่งวอริค และมีแผนที่จะสมรสกับอิซาเบล เนวิลล์ซึ่งเป็นธิดาคนโตและทายาทของริชาร์ด เนวิลล์ ทว่ากษัตริย์ผู้เป็นพี่ชายขัดขวางการสมรสครั้งนี้ สองหนุ่มสาวขัดขืนคำสั่งของกษัตริย์และเดินทางไปกาแลเพื่อเข้ารับการทำพิธีสมรสในเดือนกรกฎาคม ค.ศ. 1469 ในเดือนมีนาคม ค.ศ. 1470 ดยุคแห่งแคลเรนซ์และพ่อตาได้แอบสนับสนุนการก่อจราจลติดอาวุธในตอนเหนือของอังกฤษ เมื่อพระเจ้าเอ็ดเวิร์ดทราบข่าวการทรยศของน้องชาย พระองค์ได้ริบตำแหน่งข้าหลวงใหญ่แห่งไอร์แลนด์ที่เคยพระราชทานให้ ดยุคแห่งแคลเรนซ์ได้หนีไปฝรั่งเศสพร้อมกับเอิร์ลแห่งวอริค ด้วยแรงสนับสนุนจากพระเจ้าหลุยส์ที่ 12 แห่งฝรั่งเศส เอิร์ลแห่งวอริคได้ถวายตัวจงรักภักดีต่อมาร์เกอรีตแห่งอ็องฌู พระราชินีผู้ถูกปลดจากบัลลังก์ และผนึกความสัมพันธ์ด้วยการให้แอนน์ เนวิลล์ ธิดาคนรองของตนสมรสกับเอ็ดเวิร์ด แพลนแทเจเนต เจ้าชายแห่งเวลส์ของฝ่ายแลงคัสเตอร์ซึ่งเป็นทายาทของพระเจ้าเฮนรีที่ 6

ในเดือนกันยายนของปีเดียวกันดยุคแห่งแคลเรนซ์และเอิร์ลแห่งวอริคได้ทำการรุกรานอังกฤษจนช่วยให้พระเจ้าเฮนรีที่ 6 พระมหากษัตริย์แห่งราชวงศ์แลงคัสเตอร์ที่ถูกปลดจากตำแหน่งได้กลับคืนสู่บัลลังก์ ทว่าไม่นานดยุคแห่งแคลเรนซ์ก็เหนื่อยหน่ายกับการบริหารการปกครองของวอริคและไม่ชอบใจตนเองที่ต่อสู้เพื่อราชวงศ์แลงคัสเตอร์ จึงแอบคืนดีกับพระเจ้าเอ็ดเวิร์ดที่ 4 ผู้เป็นพี่ชาย ในเดือนมีนาคม ค.ศ. 1471 พระเจ้าเอ็ดเวิร์ดที่ถูกขับไล่ออกจากประเทศเดินทางกลับมาอังกฤษ ดยุคแห่งแคลเรนซ์ได้ทอดทิ้งอดีตพันธมิตรอย่างเอิร์ลแห่งวอริคและต่อสู้อยู่ฝ่ายเดียวกับพี่ชายในสมรภูมิบาร์เน็ตในวันที่ 14 เมษายน ค.ศ. 1471 เอิร์ลแห่งวอริคถูกพระเจ้าเอ็ดเวิร์ดสังหารในสมรภูมิดังกล่าว เช่นเดียวกับเอ็ดเวิร์ด เจ้าชายแห่งเวลส์ คู่เขยของดยุคแห่งแคลเรนซ์ พระเจ้าเอ็ดเวิร์ดได้บัลลังก์กลับคืนมาและได้ตั้งดยุคแห่งแคลเรนซ์เป็นเอิร์ลแห่งวอริคและซอลส์บรีในปี ค.ศ. 1472

ริชาร์ด ดยุคแห่งกลอสเตอร์ น้องชายคนเล็กของราชวงศ์ยอร์กมีแผนจะสมรสกับแอนน์ เนวิลล์ ชายาม่ายของเอ็ดเวิร์ด เจ้าชายแห่งเวลส์ แต่ดยุคแห่งแคลเรนซ์ไม่ต้องการแบ่งทรัพย์สินที่ดินอันกว้างใหญ่ไพศาลของเอิร์ลแห่งวอริคกับน้องชายจึงได้นำตัวน้องสาวภรรยาไปซ่อน ความพยายามของเขาถูกทำลายเมื่อริชาร์ดสืบจนรู้ว่าแอนน์อยู่ที่ไหนและให้การคุ้มกันแอนน์จนเดินทางไปถึงสถานที่คุ้มภัยแห่งนักบุญมาร์ตินในฟิลด์ สุดท้ายสองพี่น้องคืนดีกัน ริชาร์ดได้สมรสกับแอนน์ เนวิลล์ ขณะที่ในการแบ่งทรัพย์สินที่ดินของเอิร์ลแห่งวอริค ดยุคแห่งแคลเรนซ์ได้ส่วนแบ่งที่เยอะกว่า

การสมรสของดยุคแห่งแคลเรนซ์กับอิซาเบล เนวิลล์ได้ให้กำเนิดทายาทที่รอดชีวิตสองคน เป็นธิดาหนึ่งคน คือ มาร์กาเร็ต เคาน์เตสแห่งซอลส์บรี และบุตรชายหนึ่งคน คือ เอ็ดเวิร์ด เอิร์ลแห่งวอริค อิซาเบล เนวิลล์ถึงแก่กรรมในเดือนธันวาคม ค.ศ. 1476 เพียงสองเดือนหลังให้กำเนิดริชาร์ด บุตรชายที่อายุสั้น ภายหลังดยุคแห่งแคลเรนซ์คิดการใหญ่หวังจะสมรสกับมารี ทายาทแห่งบูร์กอญ แต่ถูกพระเจ้าเอ็ดเวิร์ดที่ 4 ขัดขวางการสมรส ย้ำแผลเก่าให้ดยุคแห่งแคลเรนซ์กลับมาคิดคดต่อพี่ชายอีกครั้ง