- Katılım
- 30 Tem 2009
- Konular
- 441
- Mesajlar
- 1,918
- Reaksiyon Skoru
- 109
- Altın Konu
- 0
- TM Yaşı
- 16 Yıl 10 Ay 21 Gün
- Başarım Puanı
- 150
- MmoLira
- 2
- DevLira
- 0
HERAKLES Otomatik Avlı kalıcı sunucu. 19 Haziran'da açılıyor. Atius & Wizard güvencesiyle hemen kayıt ol, ön kayıt ödülleri aktif. HEMEN TIKLA!
Öncelikle işe sayfamızdaki meta taglar ile başlayalım ..
Bu yazı hiçbir şey bilmeyen bir kişi baz alındığı için sadece gogole değil tüm meta taglarıKaynakwh webhatti.com:
anlatacam;
<META HTTP-EQUIV="Content-type" CONTENT="text/html; charset=iso-8859-9">
<META NAME="description" CONTENT="Konu">
<META NAME="keywords" CONTENT="kelime1, kelime2, kelime3, kelime4,kelime 5">
<META NAME="author" CONTENT="KapTan">
<LINK REV="made" href="mailto:info@hostinghizme ti.com ">
Buraya kadar olan 5 satır klasik meta tag olup <head> .. </head> tagları arasında yer alır.
ziyaretçilerimize asla görünmeyen yazılar olup uygulama anaları şöyledir..
1.satırdaki tag sayfamızın hangi dilde yazıldığını gösterir. Türkçe karakter kullananlar için mutlaka
olması gereken bir tagdır.
2.satırdaki tag sayfamızın konusunu belirler.
3. satırdaki tag sayfamızın arama motorlarında bulunmasını istediğimiz anahtar kelimelerini
belirlememize yarar. Burda dikkat edilmesi gereken en faz 20 anahtar kelime tanımlamamız ve
aralarına virgül (,) koymmaız.
4. satırdaki tag sitenin adminini, 5. satırdaki tag ise o adminin aktif email adresini belirlememize
yarar..
Dediğimn gibi buraya kadar standart taglardır. Şimdide google için ekstra 2 tag yazalım ve bu
tagları yukarıdakilerin altına koyup sayfamıza ekleyelim..
<META NAME="ROBOTS" CONTENT="INCLUDE, FOLLOW">
<META NAME="revisit-after" CONTENT="1">
Kaynakwh webhatti.com:
Burda 1. sıradaki tag google ve diğer arama motorlarının örümcek (robot) lerine sitemizi indexleme
kolaylığı sağlamakla birlikte 2. satırdaki 1 sayısı 1 haftada bir sitemizin güncellendiğini ve 1 hafta
sonra tekrar bu örümceğin sitemize gelmesi ve değişimi tekrar veritabanına eklemesi gerektiğini
gösterir. Ben burda temsilen 1 yazdım. Eğer siteniz çok sık güncellenen bir site değilse bu sayısı
3-4 yapmak en mantıklısı olacaktır.
Şimdi gelelim bu işin en önemli yerine. örümceğe yol göstermeye. öncelikle örümcek hakkında bilgi
vereyim size. Örümcek yada robot adıyla anılan bazı programlar vardır. Bu programlar direk arama
motorlarının veri tabanından gelirler. her gün milyonlarca siteyi gezer ve o sitedeki bilgileri alıp
veritabanına eklerler. Dolayısıyla google de yer almak için bu örümceği iyi bilmemiz gerekir.
Örümcek zararsızdır elbette ama örümceği iyi tanımak ona yol göstermek örümceğin rastgele
bilgiler alıp gitmesini engellemek de bizim görevimizdir. Bazı arama motorları örümcekleri önce
sizden onay ister. sizin ona izin verip vermediğinizi bilmek ister. işte bununda en basit ve etkili
çözümü robots.txt dosyasıdır. Normal not defterini açarak yazacağımız bazı kodları robots adıyla
kaydedip onu sitemizde root umuza yerleştirmemiz gerekir. Yapacağımız bu işlemle örümceği biz
yönetmiş oluyoruz. Ve hepinizinde tahmin edeceği gibi yönetmekten doğan bir güç ve bugün
karşılığı rastgele bilgilerle değilde tam anlamda istediğimiz bilgilerle arama motorlarında yer almak
güzeldir.
Şimdi robots.txt dosyası hakkında bilgi vererek işe başlayalım ;
Örümcek geldiği zaman o web sitesinin içeriğini indexlemek ister. Ancak güvenlik için genelde bir
çok hosting firmaları içerik indexlemeyi kapatmıştır. Sadece size özelde bunu açmazlar. Ama biz
robots.txt dosyamızla kendimize özel bir izin yaratabiliriz.
Basit olarak robots.txt dosyasının içinde şu iki satır olmak zorundadır..
User-agent:
Disallow:
Burada user-agent uygula disallo izin verme anlamındadır.
Bizede burda düşen görev bu iki komutu en etkili bir şekilde kullanmaktır.
mesela bir örnek verelim. Sitemizi indexlemeyi sadece google bot unun yapmasını istiyoruz. ve
sitemizdeki admin klaösrünü asla yayınlamamasını istiyoruz diyelim; ozaman bu iki komut şu
şekilde kullanılır;
User-agent: Googlebot
Disallow: /admin/
Gördüğünüz gibi uygulama alanı çok kolaydır. Ben burda size aktif hizmet veren arama
motorlarının isimlerini yazacam. Sizlerde hangilerinde yer almak isiyorsanız okadar
User-agentsatırı ekleyeceksiniz. Disallow kullanımı ise tamamen tercih meselasi olup kaç tane
klasör yada dosya yı gizlemek isterseniz okadar çok satır kullanmanız gerekir..
Şimdi google başta olmak üzere aktif bot mantığı ile çalışan bazı arama motorları ve portallar
şunlardır;
Googlebot
BizBot04 kirk.overleaf.com
HappyBot (gserver.kw.net)
CaliforniaBrownSpider
EI*Net/0.1 libwww/0.1
Ibot/1.0 libwww-perl/0.40
Merritt/1.0
StatFetcher/1.0
TeacherSoft/1.0 libwww/2.17
WWW Collector
processor/0.0ALPHA libwww-perl/0.20
wobot/1.0 from 206.214.202.45
Libertech-Rover
WhoWhere Robot
ITI Spider
w3index
MyCNNSpider
SummyCrawler
OGspider
linklooker
CyberSpyder (amant@www.cyberspyder.com)
SlowBot
heraSpider
Surfbot
Bizbot003
WebWalker
SandBot
EnigmaBot
spyder3.microsys.com
Burdaki tüm robotların başına User-agent ekleyip o robota izin verebiliriz..
Ayrıca disallow ile sitemizden izinsiz email adresleri çalan email robotlarınada çözüm bulup spam
maillerin önüne geçebiliriz bir nebze olsada ..
Ancak bu başlı başına bir konu olduğu için bunu ayrı bir yazı dizisi olarak ilk fırsatta burada
yayınlayacağım..
Önemli Not : Robotlar her nekadar prensip olarak robots.txt ye bağlı kalmaları gerekse bile arada
istisnalar olabilmektedir.
Bu yazı hiçbir şey bilmeyen bir kişi baz alındığı için sadece gogole değil tüm meta taglarıKaynakwh webhatti.com:
Linkleri görebilmek için Turkmmo Forumuna ÜYE olmanız gerekmektedir.
anlatacam;
<META HTTP-EQUIV="Content-type" CONTENT="text/html; charset=iso-8859-9">
<META NAME="description" CONTENT="Konu">
<META NAME="keywords" CONTENT="kelime1, kelime2, kelime3, kelime4,kelime 5">
<META NAME="author" CONTENT="KapTan">
<LINK REV="made" href="mailto:info@hostinghizme ti.com ">
Buraya kadar olan 5 satır klasik meta tag olup <head> .. </head> tagları arasında yer alır.
ziyaretçilerimize asla görünmeyen yazılar olup uygulama anaları şöyledir..
1.satırdaki tag sayfamızın hangi dilde yazıldığını gösterir. Türkçe karakter kullananlar için mutlaka
olması gereken bir tagdır.
2.satırdaki tag sayfamızın konusunu belirler.
3. satırdaki tag sayfamızın arama motorlarında bulunmasını istediğimiz anahtar kelimelerini
belirlememize yarar. Burda dikkat edilmesi gereken en faz 20 anahtar kelime tanımlamamız ve
aralarına virgül (,) koymmaız.
4. satırdaki tag sitenin adminini, 5. satırdaki tag ise o adminin aktif email adresini belirlememize
yarar..
Dediğimn gibi buraya kadar standart taglardır. Şimdide google için ekstra 2 tag yazalım ve bu
tagları yukarıdakilerin altına koyup sayfamıza ekleyelim..
<META NAME="ROBOTS" CONTENT="INCLUDE, FOLLOW">
<META NAME="revisit-after" CONTENT="1">
Kaynakwh webhatti.com:
Linkleri görebilmek için Turkmmo Forumuna ÜYE olmanız gerekmektedir.
Burda 1. sıradaki tag google ve diğer arama motorlarının örümcek (robot) lerine sitemizi indexleme
kolaylığı sağlamakla birlikte 2. satırdaki 1 sayısı 1 haftada bir sitemizin güncellendiğini ve 1 hafta
sonra tekrar bu örümceğin sitemize gelmesi ve değişimi tekrar veritabanına eklemesi gerektiğini
gösterir. Ben burda temsilen 1 yazdım. Eğer siteniz çok sık güncellenen bir site değilse bu sayısı
3-4 yapmak en mantıklısı olacaktır.
Şimdi gelelim bu işin en önemli yerine. örümceğe yol göstermeye. öncelikle örümcek hakkında bilgi
vereyim size. Örümcek yada robot adıyla anılan bazı programlar vardır. Bu programlar direk arama
motorlarının veri tabanından gelirler. her gün milyonlarca siteyi gezer ve o sitedeki bilgileri alıp
veritabanına eklerler. Dolayısıyla google de yer almak için bu örümceği iyi bilmemiz gerekir.
Örümcek zararsızdır elbette ama örümceği iyi tanımak ona yol göstermek örümceğin rastgele
bilgiler alıp gitmesini engellemek de bizim görevimizdir. Bazı arama motorları örümcekleri önce
sizden onay ister. sizin ona izin verip vermediğinizi bilmek ister. işte bununda en basit ve etkili
çözümü robots.txt dosyasıdır. Normal not defterini açarak yazacağımız bazı kodları robots adıyla
kaydedip onu sitemizde root umuza yerleştirmemiz gerekir. Yapacağımız bu işlemle örümceği biz
yönetmiş oluyoruz. Ve hepinizinde tahmin edeceği gibi yönetmekten doğan bir güç ve bugün
karşılığı rastgele bilgilerle değilde tam anlamda istediğimiz bilgilerle arama motorlarında yer almak
güzeldir.
Şimdi robots.txt dosyası hakkında bilgi vererek işe başlayalım ;
Örümcek geldiği zaman o web sitesinin içeriğini indexlemek ister. Ancak güvenlik için genelde bir
çok hosting firmaları içerik indexlemeyi kapatmıştır. Sadece size özelde bunu açmazlar. Ama biz
robots.txt dosyamızla kendimize özel bir izin yaratabiliriz.
Basit olarak robots.txt dosyasının içinde şu iki satır olmak zorundadır..
User-agent:
Disallow:
Burada user-agent uygula disallo izin verme anlamındadır.
Bizede burda düşen görev bu iki komutu en etkili bir şekilde kullanmaktır.
mesela bir örnek verelim. Sitemizi indexlemeyi sadece google bot unun yapmasını istiyoruz. ve
sitemizdeki admin klaösrünü asla yayınlamamasını istiyoruz diyelim; ozaman bu iki komut şu
şekilde kullanılır;
User-agent: Googlebot
Disallow: /admin/
Gördüğünüz gibi uygulama alanı çok kolaydır. Ben burda size aktif hizmet veren arama
motorlarının isimlerini yazacam. Sizlerde hangilerinde yer almak isiyorsanız okadar
User-agentsatırı ekleyeceksiniz. Disallow kullanımı ise tamamen tercih meselasi olup kaç tane
klasör yada dosya yı gizlemek isterseniz okadar çok satır kullanmanız gerekir..
Şimdi google başta olmak üzere aktif bot mantığı ile çalışan bazı arama motorları ve portallar
şunlardır;
Googlebot
BizBot04 kirk.overleaf.com
HappyBot (gserver.kw.net)
CaliforniaBrownSpider
EI*Net/0.1 libwww/0.1
Ibot/1.0 libwww-perl/0.40
Merritt/1.0
StatFetcher/1.0
TeacherSoft/1.0 libwww/2.17
WWW Collector
processor/0.0ALPHA libwww-perl/0.20
wobot/1.0 from 206.214.202.45
Libertech-Rover
Linkleri görebilmek için Turkmmo Forumuna ÜYE olmanız gerekmektedir.
WhoWhere Robot
ITI Spider
w3index
MyCNNSpider
SummyCrawler
OGspider
linklooker
CyberSpyder (amant@www.cyberspyder.com)
SlowBot
heraSpider
Surfbot
Bizbot003
WebWalker
SandBot
EnigmaBot
spyder3.microsys.com
Linkleri görebilmek için Turkmmo Forumuna ÜYE olmanız gerekmektedir.
.Burdaki tüm robotların başına User-agent ekleyip o robota izin verebiliriz..
Ayrıca disallow ile sitemizden izinsiz email adresleri çalan email robotlarınada çözüm bulup spam
maillerin önüne geçebiliriz bir nebze olsada ..
Ancak bu başlı başına bir konu olduğu için bunu ayrı bir yazı dizisi olarak ilk fırsatta burada
yayınlayacağım..
Önemli Not : Robotlar her nekadar prensip olarak robots.txt ye bağlı kalmaları gerekse bile arada
istisnalar olabilmektedir.
Şu an konuyu görüntüleyenler (Toplam : 0, Üye: 0, Misafir: 0)
Benzer konular
