【奈良時代】
常光寺は瑠璃山醫王院場王寺と号し、天平年間、僧行基により開基された。小豆島の山々は、その高さ瀬戸内海随一を誇り、奇巌絶壁に富み、多くの洞窟を抱く。そのような地形から、佛教渡来と共に、いち早く山岳信仰が栄えた。
【平安時代】
弘法大師は、小豆島から西南の方角、讃岐屏風ヶ浦に誕生された。生地と都を往復する度に、風を待ち凪を待ち、しばしばこの島に立ち寄られた。これを基に、後世、小豆島八十八ヶ所が開創され、大師の島と慕われている。
【南北朝時代】
飽浦左衛門尉佐々木信胤は備前児島の五流修験衆を味方に小豆島に籠城した。中央星ヶ城に砦を築き、常光寺を祈願所とした。現在、碁石山山腹に”堂の跡”なる地名残るは、旧常光寺の所在地を示すものと言われる。
【戦国時代】
応仁の乱に始まる下剋上の嵐が天下を覆い、世は戦国時代に突入した。海賊や群盗が横行して、佛塔を荒らし廻った。殊に、キリシタン大名の小西行長は、小豆島を拝領するや島内の伽藍を悉く破壊し、キリシタン改宗を強制する。常光寺も例外ではなかった。
【徳川時代】
織田・豊臣を経て徳川に移り、漸く戦国の世と決別して平和を迎えた。全国、津々浦々に佛教寺院が再建・創建され、寺檀制度が始まる。四代将軍家綱在職の明暦年間、御室御所仁和寺御直末寺として常光寺が中興された。
旧本堂伽藍は、約350年前の明暦年間に建立され、薬師如来を安置する薬師堂は、寛文五年(1665)に建立された。
弘化元年(1844)、檀家にキリシタン信者が見つかり、寺領の免税を廃された。
【明治時代】
明治新政府は、神仏分離・廃仏毀釈政策を断行した。
三百年を超えて常光寺が管理してきた荒神社が切り離される。八幡寺が廃寺となり八幡社が独立し、沖の弁天は厳島社、岡の弁天は常光寺所管となる。
【昭和前期】
昭和九年(1934)の宗祖御遠忌1,100年に合わせ、本堂改築が進められたが、満州事変が勃発して水泡に帰した。
【昭和後期】
敗戦後の農地改革は常光寺にも容赦なく、中興以来、不変であった概ね二町歩に及ぶ田畑は根こそぎ没収された。経済的痛手に加え、9世住職(實圭)は既に亡く、10世住職(實乗)続いて戦死、危急存亡の憂き目に晒されることを余儀なくされた。
昭和61年(1986)、11世住職(實昭)の時に、現存の伽藍が完成し、落成慶讃法要が本山仁和寺門跡猊下を始め檀家一同他、京都より平安雅楽会を迎え盛大に挙行された。
【平成時代】
12世現住職(實温)が晋山。