天明6年（1786年）8月下旬、大風水害により田畑は流失し、さらに翌年、翌々年にも引き続き同じ被害にあいました。

ところが、不思議なことにこの「白い大きな石」の座っている周辺だけは被害が少なかったそうです。

そこで、寛政元年（1789年）8月24日、ここに祠を建て、守護神としてこの白い石を祀ることにしました。

明治31年（1898年）、悪疫が流行し、多くの村人が難渋するが、この地区の住民には被害はありませんでした。

大正から昭和20年代までは、紙漉で痛めた霜焼けやあかぎれの手をした、女性の姿があったと言われています。