หลวงพ่อศิลาแต่เดิมประดิษฐานอยู่ในถ้ำเจ้าราม กลางป่าลึกในเขตติดต่ออำเภอบ้านด่านลานหอย ต่อมาชาวอำเภอทุ่งเสลี่ยมได้อัญเชิญมาประดิษฐานไว้ที่วัดทุ่งเสลี่ยม เมื่อราวปี พ. ศ. 2472 - 2475 ต่อมาเมื่อวันที่ 29 ตุลาคม 2520 ได้มีคนร้ายขโมยหลวงพ่อศิลาไป และได้มีการนำไปประมูลขายที่ประเทศอังกฤษ แต่ภายหลังก็สามารถติดตามกลับคืนมาได้ และนำมาประดิษฐานยังวัดทุ่งเสลี่ยมตามเดิม