Fue construido originalmente en 1397 como villa de descanso del shōgun Ashikaga Yoshimitsu, así como parte de su propiedad llamada Kitayama. Su hijo transformó el edificio en un templo Zen de la secta Rinzai. El templo se quemó varias veces durante la guerra Ōnin.