ชาลี อินทรวิจิตร เขียนถึงที่มาและแรงบันดาลใจในการแต่งไว้ในหนังสือ บันเทิง บางที ชาลี อินทรวิจิตร ว่า

...

ก็ใกล้แค่นี้เอง ใช่ ท่าฉลอม ใกล้แค่นี้เอง

“แต่มันไกลหัวใจแกมากใช่ไหม หง่า พี่ไม่เคยเห็นแกแต่งเพลงให้บ้านเราสักเพลงเลย ดีแต่ไปแต่งให้บ้านอื่น เมืองอื่น ทุ่งรวงทอง งี้ แสนแสบ งี้ กว๊านพะเยา เอย สาวนครชัยศรี เอย”ผมทะลุกลางปล้องขึ้นทันที “อ้าว ทำไมล่ะ ผมจะแต่งเพลงให้แฟนผมมั่งไม่ได้เหรอ ศรินทิพย์ เขาเป็นสาวนครชัยศรี นะ”“แล้วท่าฉลอมล่ะ มันเล็กมากใช่ไหม แกถึงแต่งไม่เป็น” พี่สาวผมว่า“พี่อิจฉาเพลงล่ะซี” ผมพูดเบาๆ แบบเปรยๆ ไม่ได้ตั้งใจ“ใช่ ฉันขี้อิจฉา ก็ยังดีกว่า คนหัวใจป่าช้าอย่างแก ไม่รู้คุณค่า ไม่รักแผ่นดินถิ่นเกิด เคยทำอะไรให้บ้านเราชื่นใจมั่งหรือเปล่า แก น่ะ”

หลังจากนั้น ครูชาลี อินทรวิจิตร ก็เดินทางไปที่ท่าเรือ เพื่อจะข้ามมายังฝั่งจังหวัดสมุทรสาคร ก็มีโอกาส ได้สนทนากับ ลุงเย็น นายท้ายเรือในเย็นวันนั้น จึงได้รับรู้ถึงเรื่องราวของ หนุ่มชาวตังเกชาวท่าฉลอม ที่หลงรักสาวมหาชัย ที่ชื่อ พยอม จนทำให้ ครูชาลี อินทรวิจิตร แต่ง เพลงท่าฉลอม ออกมาจนฮิตติดปากกันไปทั่ว และ เป็นเพลงอมตะ มาจนปัจจุบันนี้

“... กระแสคลื่นอันคลุ้มคลั่ง หรือจะขลังเท่ามนต์แห่งความรัก ที่ไอ้หนุ่มผิวทองแดง เพิ่งจะรู้จัก เริ่มจะริรัก ไหนจะมีปลาที่คัดแล้วว่าดี ผูกติดเอวอยู่ 2 – 3 ตัว ไหนจะเอาเสื้อผ้าผูกเทินหัวไว้ไม่ให้เปียกแต่ความรักมันรออยู่ มันจึงว่ายตัดคลื่นปราดเปรียวเป็นฉลามกล้า ไปสู่ฝั่งมหาชัย เพราะ แม่พยอม หอมหัวใจ รอคอยอยู่แล้ว...ชีวิต ไอ้หนุ่มตังเก ดำเนินไปในความรักได้ไม่ช้าไม่นาน สาวพยอม ก็ถูกพรากจากฝั่งมหาชัย ไปเป็นดอกไม้ประดับหูชายอื่นเมืองอื่นเสียแล้วความรักของ ไอ้หนุ่มชาวเล เหมือนพายุผ่านไปชั่วแล่น ไม่เห็นหนแต่พี่รักพยอมเหมือนรักทะเล นะ ที่ต้องเห็นต้องทนอยู่ตลอดชาติชั่วลมหายใจ ผมก็ได้เพลงท่าฉลอมไว้ในใจท่อนหนึ่งว่า'พี่อยู่ไกลถึงท่าฉลอม แต่พี่ไม่ตรอม เพราะรักพยอมยามยาก' ซึมเศร้าไปกับคำเล่าของลุง ..."