太山寺の草創については、一夜建立の御堂伝説が伝えられている。飛鳥時代の586年、豊後国臼杵の真野の長者という者が難波に船で向かう途中、高浜の沖で大嵐に遭遇した。長者が平素から信仰する観音に念じると山頂から光が差し嵐が静まり無事着岸した。その光の差した頂上に行ってみると一寸八分の十一面観音を祀った小さな草堂があった。長者は感謝し一宇建立の大願を起する。早速、豊後に引き返し工匠を集め木組みを整え、1日で高浜の港に着き夜を徹して、一夜にして建立したということである。