Rumkale, Gaziantep il merkezinin 62 km. kuzeydoğusunda yer almaktadır. “Hromgla” adıyla bilinen kale daha sonra “Rumkale” olarak adlandırılmıştır. Rumkale’ye kasaba köyünden ve Halfeti’den teknelerle kolaylıkla ulaşılmaktadır. Rumkale’ye Fırat ve Merzimen kıyılarından dimdik yükselen yamaçlara yapılmış sur ve kompleks odalardan oluşan kapı geçidi ile girilmektedir. Kale iki beden halindedir. Birinci beden; kalenin doğu, kuzey ve batıda doğal kayalığın dik olarak yontulmasıyla, doğal sur meydana getirilerek oluşturulmuştur. İkinci beden ise bu doğal surun üstüne sert kalker kesme taşlarla sur duvarı olarak yapılmıştır. Kuzey ve doğu surlarında dikdörtgen planlı 7 burç ile kuzeyde çok sayıda mazgal pencere yer almaktadır. Kalenin güney yöndeki kayalık uzantısı 12.yy.’da 30 m. derinliğinde ve 20 m. genişliğinde oyularak uçurum (hendek) haline getirilmiştir. Böylece, savunmaya yönelik olarak karayla kalenin direkt ilişkisi kesilmiştir. Kale 120m. genişliğinde ve 200m. uzunluğunda bir alanı kaplamaktadır.
Bir zamanlar Fırat Irmağı kıyısında yer alan Rumkale, Halfeti/Şanlıurfa ile Gaziantep arasında sınır oluşturmakta ve baraj gölüyle çevrili üç yanıyla yarım ada görünümüne sahiptir. Kalenin eteklerinde ise aşağı şehir bulunmaktadır. Rumkale’nin doğu ve batıdan olmak üzere iki ana giriş kapısı mevcuttur. Doğu girişi Fırat Nehri, batı girişi ise Merzimen Çayı üzerine kurulmuştur. Bugün sadece ayak kalıntısı mevcut olan köprü, kara ile irtibatı sağlayan yapıdır. Buradan patika yolla kalenin giriş kapısına çıkılmaktadır. Batı cephesinde yol üzerine 20m. aralıklarla 4 adet kule şeklinde kapı yapılarak savunma açısından büyük kolaylık sağlanmıştır. Batı surlarda kuzeyden itibaren ilk kapı dikdörtgen planlıdır. Burada kapının olduğu yerde bir türbe ve bir iskelenin varlığı da bilinmektedir. İkinci kapı kareye yakın dikdörtgen planlı yarım daire şeklindedir. Üçünçü kapı ise, tahrip olmuştur. Dördüncü kapı, kare planlı haç tonozludur. Beşinci kapı kalenin Fırat’a bakan doğu cephesindedir. Dikdörtgen biçimli bu kapı, içte biri yuvarlak, diğeri sivri kemerli iki niş içine alınmıştır. Kalede beden duvarları ve burçlardan başka, bugün görülebilen kalıntılar arasında Şair Aziz Nerses Kilisesi, Barşavma Manastırı, su sarnıçları ve su kuyusu yer almaktadır. Kuyu basamaklarla Fırat Nehri’nin seviyesine kadar inen 8m. genişliğinde ve yaklaşık 75m. derinliğindedir. Fırat Nehri’nden su temin etmek için yapılmış olan bu kuyunun gizli bir geçit olduğu da rivayet edilmektedir. Kuyunun silindirik iç yüzünde kayanın oyulmasıyla helozonik bir merdiven meydana getirilmiştir. Bunlardan başka kale içinde işlevi tespit edilemeyen çok sayıda yapı kalıntısı mevcuttur. Kaledeki yapıların birçok bölümü ana kayanın oyulması ve düzleştirilmesiyle yapılmıştır. Surlarda ve burçlarda örgü malzemesi moloz taş, kaplama malzemesi olarak büyük boyutlu düzgün kesme taşlar, kemerlerde ise tuğla görünümü verilmiş kesme taşlar kullanılmıştır.
Kalede toprak üstündeki yapılar 12-14.yüzyıllar arasına aittir. Bunlar içinde en eski yapının hendek olduğu ifade edilmektedir.

 Fırat Nehri boyunca ele geçen çakmak taşından yapılmış aletler ve diğer kalıntılar, insanoğlunun Rumkale ve çevresinde Paleolitik döneminden itibaren yerleştiğini kanıtlamaktadır. Bu dönemden sonraki iskan yerlerini ise Fırat vadisinde Tunç çağından başlayıp Kalkolitik döneme kadar inen höyüklerle izlemekteyiz. Rumkale ve çevresiyle ilgili antik kaynaklardaki ilk bilgiye Asur Kralı III.Salmanazar’ın M.Ö. 800’de zaptettiği “Şitamrat” yerleşimiyle ulaşmaktayız. Bu yerin Rumkale olduğu ifade edilmektedir. Rumkale çevresi bölgedeki stratejik konumu sebebiyle Med, Pers, Helenistik ve Roma dönemlerinde de iskan görmüştür.17.yüzyılda Evliya Çelebi, Rumkale’nin bir tepe üstünde sağlam bir kale olduğunu, dışında camisi, hanı, hamamı ve küçük bir çarşısı bulunduğunu belirtir. Kâtip Çelebi’de buranın bahçe ve meyvelerinin bolluğunu vurgulamıştır. Rumkale; üç yanı zümrüt yeşili göl ve bunu çevreleyen dik, sarp kayalıklı tepelerle çevrili doğa ve insan harikası bir yerdir. 

Şair Aziz Nerses Kilisesi: Rumkale’nin güneyinde yer alan kiliseyi 1173’te Şair Aziz Nerses yaptırmıştır. 18.yy.’da Rumkale’yi ziyaret eden Richard Peacock, yapıdan gotik tarzda küçük ama güzel bir kilise olarak bahsetmiştir. Doğu-batı doğrultusundaki kilise dikdörtgen planlı, üç nefli ve üç apsisli plana sahiptir. Batısında narteks yer alır. Sadece apsisin doğu cephesinin bir bölümü toprak üstündedir. Doğu cephesinin ortasında silmeli çerçevenin iki yanında birbirine benzer kabartmalı levha bulunur. Sol levhada haç ve rumi süslemenin olduğu kabartmanın altında başlarını geriye çevirmiş karşılıklı duran iki aslan; sağ levhada ise iki palmet arasında başını sağa çevirmiş, kanatlarını açmış bir kartal kabartması yer almaktadır. Bu kilisenin İslami dönemde cami olarak kullanıldığı bilinmektedir.

Barşavma Manastırı: Kale içinde, kuzeyde yer alır. 13.yy.’da Yakubi Azizi Barşavma kendi adına inşa ettirmiştir. Birbirine bitişik iki yapıdan oluşan manastırın bazı bölümleri ayakta kalmıştır. Kuzey cephesini kaya kütlesi oluşturur. Kare planlı olan yapı haç tonozlarla örtülmüştür. Duvarlarda büyük taş bloklar halinde kesme taşlar, payelerde ve batı mekanınnkapısında düzgün kesme taşlar, kemerlerde ve örtü sisteminde ise tuğla görünümü verilmiş kesme taşlar kullanılmıştır. Yakınında bir de kuyu mevcuttur