Kars Kalesi’nin güney eteğinde Kale İçi Mahallesi’nde yer alan Havariler Kilisesi şehirdeki Ermeni kiliselerinden birisi olup Bagratlı Krallığı döneminde Kral Abbas tarafından MS 932-937 yılları arasında yaptırılmıştır.
Kilise merkezi planlı olup dört yonca yaprağını andıran, dört nişle genişleyen dik açılı bir mekana sahiptir. Daha sonra 1064 yılında Müslüman egemenliğine geçen yöredeki bu kilise camiye dönüştürülerek Kümbet Camisi adını almıştır. Bölge Rus hakimiyetine girince camii Rus Ortodoks Kilisesi’ne çevrilmiş, 1918 yılında Türk hakimiyetine girince yeniden camiye çevrilmiştir. 1964 yılında ise müzeye dönüştürülerek, Kars´ta yapılan kazılardan elde edilen tarihi eserler burada sergilenmeye başlanmıştır. Kars Müzesi adıyla da bilinen bu eski ibadethane, bu işlevini 1981 yılına kadar sürdürmüştür. 1993 yılından bu yana yine cami olarak kullanılmaktadır.