วัดเขาย้อยสังกัดคณะสงฆ์มหานิกาย ตั้งเมื่อ พ.ศ.2471 มีพระอธิการเจ้ย เทสโก ได้ดำเนินการจัดสร้างเสนาสนะต่าง ๆอย่างมั่นคงถาวร จากสำนักสงฆ์จนกลายเป็นวัดที่ถูกต้องจนถึงปัจจุบัน การบริหารและการปกครอง เท่าที่ทราบนาม คือ รูปที่ 1 พระอธิการเจ้ย เทสโก พ.ศ.2460 – 2503 พระบุญช่วย ปุณฺณโก พ.ศ.2505 – 2532 รูปที่ 3 พระครูไพบูลย์พัฒนาโสภณ พ.ศ.2532 – จนถึงปัจจุบัน
ถ้ำเขาย้อยอยู่บนเขาติดกับวัดเขาย้อย ถ้ำเขาย้อยภายในถ้ำจะมีพระ พระพุทธไสยาสน์ สมัยพระเจ้าอู่ทองวัดความยาว 15.59 เมตร พระพุทธบาท พระระเบียง 30 องค์ และรอยพระพุทธบาท ซึ่งเป็นที่เคารพของประชาชนโดยทั่วไป นอกจากนั้นภายในถ้ำอู่ทองยังมีพระพุทธรูป เจ้าแม่กวนอิม และพระประจำวัน มีรูปปั้นพระเจ้าอู่ทองพุทธวิหาร ขนาดหน้าตักกว้าง 1.4 เมตร สูง 1.50 เมตร พระครูไพบูลย์พัฒนาโสภณ ท่านเจ้าอาวาสองค์ปัจจุบันได้พัฒนาถ้ำเขาย้อยจนสวยงามอย่างที่เห็นอยู่ในปัจจุบันนี้
เดิมที ถ้ำเขาย้อยยังคงถูกทิ้งร้างไว้จนเมื่อหลวงพ่อพิมพ์วัดท้ายตลาดท่านเข้าไปปฎิบัติธรรมในถ้ำนี้บ่อย ๆ ต่อมามีคนเข้าไปเที่ยวกันมากขึ้นท่านเห็นว่าเริ่มไม่มีความสงบท่านจึงย้ายไป ทำสมาธิภาวนาที่ถ้ำเขานาคซึ่งปัจจุบันเป็นวัดเขานาควิวัฒน์ ถ้ำนี้อยู่บนเขานาคปัจจุบันยังมีกุฎิที่ท่านสร้างสำหรับไปพักปฏิบัติธรรม ด้วย
เดิมนั้นที่ถ้ำเขาย้อยยังไม่ได้พัฒนาอย่างปัจจุบันพื้นถ้ำก็เป็นพื้นปูขัดมันธรรมดา มีทางขึ้นเป็นบันไดปูนแม้แต่ทางขึ้นไปเที่ยวบนเขาก็เป็นแค่บันไดปูนไม่มีรูปพญานาคสวยงามอย่างปัจจุบัน เส้นทางเดินขึ้นไปเที่ยวบนเขาก็เป็นแค่ทางที่เดินลัดเลาะไปตามก้อนหินต้องคอยระวังไม่ให้ตกลงไปด้านล่าง ปัจจุบันทำเป็นบันไดปูนมีราวบันไดเรียบร้อยเดินได้สะดวก
เขาย้อยยังมีถ้ำอีกหลายแห่งบนเขา มีทางเดินรัดเลาะไปตามไล่เขาสามารถไปเที่ยวบนเขาและไปเที่ยวยังถ้าต่าง ๆ ที่มีอยู่หลายถ้ำ เช่น ถ้ำสวรรค์ซึ่งลงไปด้านล่างมีบันไดพาดลงไปภายในถ้ำ ในถ้ำมีแสงแดดรอดลงมาจากด้านบนที่ทะลุมีแสงแดดส่องลงมาได้
เมื่อเดินต่อไปตามเส้นทางจะมีถ้ำที่มีพระพุทธรูปองค์ใหญ่ (พระโคตะโม) ปางมารวิชัย หน้าตักกว้าง 2.50 เมตร หันพระพักตร์ไปยังปากถ้ำ จะมีแสงลอดลงมาจากด้านบนภายในถ้ำ ๆ จึงไม่มืด พระองค์นี้สร้างมาตั้งแต่ปี 2467 โดยชาวบ้านบริเวณใกล้เคียง เช่น ชาวบ้านสระพัง เขาย้อย บ้านน้อย ทับคาง พระพุทธรูปองค์นี้อยู่ไกลจากทางขึ้นมากจึงมีน้อยคนที่จะเดินไปถึง และจากจุดนี้สามารถรอดถ้ำทะลุไปยังอีกด้านหนึ่งของภูเขาได้
ถ้ำเขาย้อยเป็นเป้าหมายหนึ่งสำหรับนักท่องเที่ยวที่จะเดินทางไปเที่ยว จ.เพชรบุรี เดินทางจากกรุงเทพเลยแยกวังมะนาวไปประมาณ 20 กว่ากิโลเมตร ตั้งแต่วังมะนาวให้สังเกตดูทางซ้ายมือจะมีภูเขาลูกไม่ใหญ่นักอยู่ติดถนนเพชรเกษมมีแยกเลี้ยวซ้ายเข้าไปอีกประมาณหนึ่งกิโลเมตรก็ถึงถ้ำเขาย้อยมีที่จอดรถสะดวกสบาย แต่มีลิงจำนวนมากแต่ก็มีคนคอยไล่ลิงให้ค่าบริการตามแต่จะให้ ไปเที่ยวเพชรบุรีอย่าลืมแวะถ้ำเขาย้อยนะครับ
ที่อยู่ : ถ้ำเขาย้อย ตำบลเขาย้อย อำเภอเขาย้อย จังหวัดเพชรบุรี
