Según la leyenda, Khiva creció alrededor de un pozo llamado Keivah, que fue cavado por Sem, el hijo del justo Noé. Arqueólogos afirman que Jiva ya existía en el siglo VI a.C. y de hecho se llamaba Kheyvak. El pozo del mismo nombre sigue en pie en el centro de la ciudad. Antes de la conquista árabe, Khiva era una ciudad zoroástrica. En 712, después de que Qutayb Ibn Muslim llegara al poder en Khiva, científicos y representantes de familias nobles fueron aniquilados. En los siglos IX-XI Khiva fue transformada en un centro religioso y científico, donde trabajaron, por ejemplo, los científicos Al-Khorezmi y Al-Beruni. En 1220 Khiva fue destrozada por los soldados de Gengis Kan.