芋神様とは疱瘡（天然痘）の守り神として人々に信仰されていた神で、疱瘡の古名が「いも」であったことからつけられたようです。　
「新編武蔵風土記稿」によると江戸時代（寛永年間）に慶珊寺の二代目伝雅和尚が寺男に殺された大蛇を手厚く供養したところ、その晩和尚の夢に蛇が現われ、「私を祀ってくれたら、ほうそう（天然痘）除けの神として人々を助けよう」と言ったので、社を建てて本尊に楊柳観音を祀ったとされている。
　江戸末期から明治時代にかけては横須賀、三浦や藤沢方面、神奈川等からも多くの参詣者があり、東海道保土ヶ谷宿には「富岡山芋大明神えの道」と、道標が立てられたほどの賑わいであった。