จากคำบอกเล่าของชาวเมืองไชยาได้มีตำนานที่เล่าขานเกี่ยวกับเจดีย์พระบรมธาตุไชยาว่า ครั้งหนึ่งมีพี่น้องชาวอินเดียสองคนชื่อ ปะหมอ กับปะหมัน ทั้งสองเดินทางโดยเรือใบเข้ามาถึง เมืองไชยา ได้พาบริวารขึ้นบกที่บ้านนาค่ายตรงวัดหน้าเมือง ในตำบลเลเม็ด เจ้าเมืองมอบให้ปะหมอ ซึ่งเป็นนายช่างมีความเชี่ยวชาญการก่อสร้าง สร้างเจดีย์พระบรมธาตุไชยา ครั้นเสร็จก็ตัดมือตัดเท้าเสีย เพื่อมิให้ปะหมอไปสร้างเจดีย์ที่งดงามเช่นนี้ให้ผู้ใดอีก ปะหมอทนบาดพิษบาดแผลไม่ได้ ถึงแก่ความตาย เจ้าเมืองได้หล่อรูปพระโพธิสัตว์อวโลกิเตศวรไว้ เป็นเครื่องหมายแทนตัวปะหมอ ส่วนน้องชายที่ชื่อปะหมันได้ไปครองเกาะพัดหมัน และตึงรากอยู่ที่นั้นจนกระทั่งสิ้นชีวิต สถานที่ตั้งบ้านเรือนของปะหมันนั้นเป็นที่ดอนน้ำท่วมไม่ถึง มีนาล้อมเนื้อที่ประมาณ 1 ไร่เศษ
สมัยโบราณที่นี่ศักดิ์สิทธิ์เป็นที่เคารพนับถือของชาวบ้านมาก คณะมโนราห์ที่เดินทางผ่านจะต้องหยุดไหว้รำร้องถวายมือ คณะใดไม่เคารพคนในคณะจะชัก หรือเกิดเหตุขัดข้องต่างๆ
