Eski adı Karballa, daha sonra Gelveri olan Güzelyurt, paleolitik çağdan beri insanlara yurt olmuştur. Şu andaki ilçe önemli bir neolitik (M.Ö 6500 - 5000) yerleşim merkezi üzerine kurulmuştur. Bu bölge Eti, Hitit, Pers, Kapadokya krallığı, Eski yunan, Roma, Bizans, Selçuk ve Osmanlı medeniyetlerine beşiklik yapmıştır. Gelveri ilçesi; Yumuşak kayalı peri bacaları ile dolu bir yere kurulmuştur. Kayaların içerisinde çok eskilerden kalma bir çok kavimlerin eserlerini taşıyan oyma yapılar, mağralar, kaleler mabedler, medfenler, yer altı çarşıları, sayılayamayacak kadar çok olan küçük şirin tarihi görünümlü bir ilçedir.
Güzelyurt tarihi gelişmesini özellikle, Nenezili (bugün bekarlar) din bilgini Aziz Gregoryos Teologos'a (4 Y.Y) borçludur. Kendisine gelveri' yi merkez olarak seçen bu aziz hristiyanlığın Anadolu' da yayılmasını sağlamıştır. O dönemde manastır yaşantısının temelini atmıştır. İleri sürdüğü fikirler daha sonra Ortodoks mezhebini ortaya çıkarmıştır.
İlçe de ve Manastır vadisin de Bizans ve Osmanlı döneminden kalma, kayalara oyulmuş elliye yakın kilise vardır. Ayrıca üç yer altı şehri ve bir kaya camii bulunmaktadır. Yarı kayadan oyma, cepheleri işlemeli Rum evleri, Kapadokya mimarisinin en güzel örneklerini teşkil etmektedir.
İlçede ve yakın çevresinde bulunan tarihi eserler, Kapadokya'nın genelindeki bütün özellikleri içerirler. 1924 yılına kadar, ilçe de Rum ve Türk nüfus bir arada yaşamışlardır. Büyük Mübadele de Rumlar, Yunanistan' nın Kastorya ve Kozan köylerinden gelen Türklere evlerini terk etmişlerdir. Günümüzde ilçe halkı geçimini genellikle tarımcılık, hayvancılık, büyük şehirlerde veya yurtdışında inşaatçılık yaparak kazanmaktadır.
Karballa Dini Okulu'nun ilk binası 1856'da köyün Rum ahalisi tarafından inşa edilmiştir. 1913'te ikinci bina eklenmiştir. Rumların gitmesinden sonra bina , ilkokul, nahiye müdürlüğü, karakol ve sinema olarak kullanılmıştır. Güzel yurt Belediyesi ve Özel idare'ye ait olan bu tarihi binalar 1985 yılında İstanbul Yıldız Üniversitesi Mimarlık Fakültesi Profesörü sayın İsmet Ağar yılmaz yönetiminde otel olarak restore edilmiştir.
Yüksek kilise (Analepsis Manastırı):
İçinde Bizans döneminden kalma bir şapelin bulunduğu yüksek kayanın tepesinde 19.Y.Y'da inşa edilmiştir. Çok sayıda obsidyenden yapılmış malzemenin bulunduğu kilise çevresi şüphesiz önemli bir neolitik yerleşim merkezidir. Yüksek Kilise'den Güzelyurt ve hasan dağı'nın (3268m) görünüşü nefes kesecek güzelliktedir.
Güzelyurt'u hiristiyanlığın ilk yüzyılarında istilası imkansız hale getiren yer altı sığınakları ve kalelerine günümüzde yer altı şehirleri denmektedir. Yapılması neredeyse imkansız gibi görünen küçük kanalar, zikzaklı delikler , yereltı şehirinin büyülü ve gizemli dünyasını içine girildiğinde hissettirmektedir. Yer altında ucu bucağı bilinmeyen kanallarda ilerledikçe karşınıza yaklaşık 15 - 20 metrekarelik odalar çıkmaktadır. Günümüzde temizlenerek açılmış alanlar gezilebilmekte olup, tamamı keşfedilememiştir. Bu yapılar halen sırrını korumaktadır. Yeraltı kalelerinde su kuyuları ve erzak ambarları bulunmaktadır. Bu sığınakların kapıları "tırhaz" denilen büyük değirmen taşına benzeyen ağır taşlarla kapatılır, bu taşların ortalarına insan giremiyecek kadar delikler açılırdı. Düşman buraya kadar sokulabilirse bu delikten zamanına göre oklarla, sivri, delice, kesici aletlerle öldürülürlerdi. Bazen bu sığınaklardan dışarıya mazgal delikleri gibi delikler açılmıştır. Buradan düşmanın üzerine ok, taş ve kesek atılara kendilerini müdafa ederlerdi. Bu harika mekanlar insaların gezip görmesini beklemektedir.
İlçenin aşağı kısmından başlayan vadi 4.5 km uzunluğundadır. Elli kadar kayadan oyma kilise ve manastıra sahiptir. İki buçuk saatlik hoş bir yürüyüşle vadiyi gezebilirsiniz. Kayadan oyma evleri, camiye çevrilmiş kilisesi ve kalesiyle ünlü Sivrihisar köyüne ulaşırsınız. 15 dakika sonra Kızıl kiliseye varırsınız.
Güzelyurt tarihi gelişmesini özellikle, Nenezili (bugün bekarlar) din bilgini Aziz Gregoryos Teologos'a (4 Y.Y) borçludur. Kendisine gelveri' yi merkez olarak seçen bu aziz hristiyanlığın Anadolu' da yayılmasını sağlamıştır. O dönemde manastır yaşantısının temelini atmıştır. İleri sürdüğü fikirler daha sonra Ortodoks mezhebini ortaya çıkarmıştır.
İlçe de ve Manastır vadisin de Bizans ve Osmanlı döneminden kalma, kayalara oyulmuş elliye yakın kilise vardır. Ayrıca üç yer altı şehri ve bir kaya camii bulunmaktadır. Yarı kayadan oyma, cepheleri işlemeli Rum evleri, Kapadokya mimarisinin en güzel örneklerini teşkil etmektedir.
İlçede ve yakın çevresinde bulunan tarihi eserler, Kapadokya'nın genelindeki bütün özellikleri içerirler. 1924 yılına kadar, ilçe de Rum ve Türk nüfus bir arada yaşamışlardır. Büyük Mübadele de Rumlar, Yunanistan' nın Kastorya ve Kozan köylerinden gelen Türklere evlerini terk etmişlerdir. Günümüzde ilçe halkı geçimini genellikle tarımcılık, hayvancılık, büyük şehirlerde veya yurtdışında inşaatçılık yaparak kazanmaktadır.
Karballa Dini Okulu'nun ilk binası 1856'da köyün Rum ahalisi tarafından inşa edilmiştir. 1913'te ikinci bina eklenmiştir. Rumların gitmesinden sonra bina , ilkokul, nahiye müdürlüğü, karakol ve sinema olarak kullanılmıştır. Güzel yurt Belediyesi ve Özel idare'ye ait olan bu tarihi binalar 1985 yılında İstanbul Yıldız Üniversitesi Mimarlık Fakültesi Profesörü sayın İsmet Ağar yılmaz yönetiminde otel olarak restore edilmiştir.
Yüksek Kilise
Yüksek kilise (Analepsis Manastırı):
İçinde Bizans döneminden kalma bir şapelin bulunduğu yüksek kayanın tepesinde 19.Y.Y'da inşa edilmiştir. Çok sayıda obsidyenden yapılmış malzemenin bulunduğu kilise çevresi şüphesiz önemli bir neolitik yerleşim merkezidir. Yüksek Kilise'den Güzelyurt ve hasan dağı'nın (3268m) görünüşü nefes kesecek güzelliktedir.
Yeraltı Şehirleri
Güzelyurt'u hiristiyanlığın ilk yüzyılarında istilası imkansız hale getiren yer altı sığınakları ve kalelerine günümüzde yer altı şehirleri denmektedir. Yapılması neredeyse imkansız gibi görünen küçük kanalar, zikzaklı delikler , yereltı şehirinin büyülü ve gizemli dünyasını içine girildiğinde hissettirmektedir. Yer altında ucu bucağı bilinmeyen kanallarda ilerledikçe karşınıza yaklaşık 15 - 20 metrekarelik odalar çıkmaktadır. Günümüzde temizlenerek açılmış alanlar gezilebilmekte olup, tamamı keşfedilememiştir. Bu yapılar halen sırrını korumaktadır. Yeraltı kalelerinde su kuyuları ve erzak ambarları bulunmaktadır. Bu sığınakların kapıları "tırhaz" denilen büyük değirmen taşına benzeyen ağır taşlarla kapatılır, bu taşların ortalarına insan giremiyecek kadar delikler açılırdı. Düşman buraya kadar sokulabilirse bu delikten zamanına göre oklarla, sivri, delice, kesici aletlerle öldürülürlerdi. Bazen bu sığınaklardan dışarıya mazgal delikleri gibi delikler açılmıştır. Buradan düşmanın üzerine ok, taş ve kesek atılara kendilerini müdafa ederlerdi. Bu harika mekanlar insaların gezip görmesini beklemektedir.
Sivişli Kilise
Kubbesi ve dört sütunu ile kayaya oluşmuş kilise de 1877 den kalma duvar resimleri hala görülebilmektedir. Kilisenin çevresindeki kayadan oyma odalar Aziz Anargiros bayramına gelen hacılara ve hastalara hizmet vermekteydi. Tamamı kayalardan oyulmuş bu kilisenin yapım tarihi bilinmiyor. Kilisenin dışında bulunan odalara ölümcül hastalar bırakılır ve dua edilir eğer hasta iyileşirse azizlerin yardım ettiğine inanılırdı. Kilise, Rumların ilçeyi terk etmelerinden sonra belli bir süre çömlek atölyesi olarak kullanmıştır. Kilisenin üzerindeki tepeden panoramik manzara görülmeye değer.Manastır Vadisi
İlçenin aşağı kısmından başlayan vadi 4.5 km uzunluğundadır. Elli kadar kayadan oyma kilise ve manastıra sahiptir. İki buçuk saatlik hoş bir yürüyüşle vadiyi gezebilirsiniz. Kayadan oyma evleri, camiye çevrilmiş kilisesi ve kalesiyle ünlü Sivrihisar köyüne ulaşırsınız. 15 dakika sonra Kızıl kiliseye varırsınız.
