Kars'ın Dereiçi mevkisinde yer alan Tabyanın duvarları zamanla yıkılmış ve bazı noktaları define avcıları tarafından kazılmış, ayrıca hayvan barınağı olarak kullanılmak üzere tahrip edilmiş. Ancak tabyanın bazalt taşlarından yapılmış cephe duvarları hala sağlam bir şekilde duruyor.
Atatürk Üniversitesi Edebiyat Fakültesinden emekli tarih araştırmacısı Gürsoy Solmaz, tabyanın 13 bölümden oluştuğunu ve özellikle kuzey kısmının açık olduğunu belirtti. Solmaz, "Gemli Tabya, Ruslara karşı savunma amacıyla inşa edilmiştir ve Anadolu'daki diğer tabyalarla benzer özellikler göstermektedir," dedi. Ayrıca, bu yapının Kırım Harbi dönemine ait olduğunu ve şair Namık Kemal’in de o dönemde Kars’ta bulunduğunu hatırlatarak, "Namık Kemal, bu savaşın getirdiği gerilimle ilgili şiirlerinde tabyanın yapıldığı coğrafyayı işaret etmiştir." şeklinde konuştu.