หินตาหินยาย สถานที่ท่องเที่ยวสำคัญบนเกาะสมุย ตั้งอยู่ที่บริเวณหาดละไม ลักษณะเป็นโขดหินรูปร่างทีแปลกโดย “หินตา” เป็นหินแกรนิตที่มีลักษณะเหมือนอวัยวะเพศชายตั้งชี้ฟ้า เกิดจากการกัดเซาะโดยน้ำทะเล สายลม และแสงแดด ส่วน “หินยาย” เป็นก้อนหินแกรนิตขนาดมหึมา มีลักษณะเหมือนร่างของเพศหญิง ตั้งแต่ช่วงเอวลงไปนอนทอดตัวลงไปในทะเล หันหน้ารับคลื่นลมที่ซัดสาดอยู่เป็นระยะ เกิดจากการผุกร่อนของหน้าผาชายฝั่งทะเลเนื่องจากถูกคลื่นกัดเซาะ

ตำนานท้องถิ่นเล่าต่อๆกันมาว่า นานมาแล้วมีตายายคู่หนึ่ง ชื่อตาเครงและยายเรียม เป็นชาวปากพนัง จังหวัดนครศรีธรรมราช เดินทางโดยเรือใบเพื่อจะไปสู่ขอลูกสาวของตาม่องล่าย จังหวัดประจวบคีรีขันธ์ ให้กับลูกชายชื่อคง โดยมีนายท้ายเรือ คือนายปราบเพื่อนของลูกชาย ครั้งเรื่อแล่นมาถึงบริเวณแหลมละไม เกิดพายุใหญ่ทำให้เรือล่ม สินสอดทองหมั้นที่เตรียมมาจมน้ำหายไปจนสิ้น ส่วนญาติสนิทมิตรสหายที่เดินทางมาร่วมกัน จมน้ำเสียชีวิตกลายเป็นเกาะเล็กเกาะน้อย รายรอบเกาะสมุย หลายๆคนถูกน้ำพัดไปกลายเป็นหมู่เกาะอ่างทอง นายคงถูกน้ำซัดไปทางหาดเชิงมนเสียชีวิตกลายเป็นเกาะกง ด้านนายปราบนั้นเกาะเรือสำเภาของตัวเองลอยไปทางอ่าวบ้านดอน จนก่อนจะเข้าอ่าวบ้านดอนเรือสำเภาจมลงจนกลายเกาะนกเภา ส่วนนายปราบนั้นเสียชีวิตกลายเป็นเกาะปราบ อยู่บริเวณอ่านบ้านดอนนั้นเอง คงเหลือรอดชีวิตแค่ตาเครงและยายเรียม ถูกน้ำทะเลพัดเข้าหาดละไม ทั้งตาและยายเสียใจมาก และกลัวว่าตาม่องล่ายจะคิดว่าเป็นคนไม่รักษาคำพูด จึงพากันกลั้นใจกระโดดน้ำตาย กลายเป็นหินตาหินยายทุกวันนี้