İnternetten Kolayca Veri Çekmek
Geliştirilen Python projelerinin büyük bir kısmı, zamanla bir noktada ağ üzerinden iletişim kurma ihtiyacı duyar. İster bir REST API'ye bağlanmak, ister bir hava durumu servisinden veri almak veya GitHub üzerinden bir dosya indirmek olsun; bu işlemler için standart kütüphanedeki
urllib kullanılabilse de, Python ekosisteminde standart haline gelmiş olan araç requests kütüphanesidir. Kullanıcı dostu yapısı sayesinde tek bir pip install komutuyla kurulmasına kesinlikle değer.
Kod:
pip install requests
Kurulum yapmadan önce, bağımlılıkları projenizle sınırlı tutmak adına bir sanal ortam (virtual environment) oluşturmanız önerilir.
İlk GET İsteği Nasıl Atılır?
Python:
import requests
response = requests.get("https://api.github.com/repos/python/cpython")
print(response.status_code)
print(response.headers["Content-Type"])
print(response.text[:200])
İşlem oldukça basit:
get fonksiyonunu çağırın, gelen durum kodunu denetleyin ve yanıtın gövdesini inceleyin. Yanıt içeriğini bir metin (string) olarak almak için response.text kullanılır.Sık karşılaşılan ve bilinmesi gereken durum kodları şunlardır:
• 200 - İşlem başarılı.
• 201 - Kaynak başarıyla oluşturuldu (genellikle POST işlemlerinde görülür).
• 301 / 302 - Yönlendirme;
requests bu yönlendirmeleri otomatik olarak takip eder.• 400 - Hatalı istek; gönderilen verilerde bir sorun var.
• 401 / 403 - Kimlik doğrulaması başarısız veya yetki yetersiz.
• 404 - Aranan kaynak bulunamadı.
• 429 - İstek sınırı aşıldı; daha yavaş istek gönderilmeli.
• 500 - Sunucu tarafında bir hata meydana geldi.
JSON Yanıtlarını İşlemek
Bağlandığınız uç nokta (endpoint) JSON formatında bir veri döndürüyorsa,
.json() metodunu kullanarak bu veriyi doğrudan bir sözlüğe (dict) veya listeye dönüştürebilirsiniz:
Python:
import requests
response = requests.get("https://api.github.com/repos/python/cpython")
data = response.json()
print(data["name"])
print(data["stargazers_count"])
print(data["license"]["name"])
Aslında
.json() kullanımı, arka planda json.loads(response.text) işlemini yapan pratik bir kısayoldur.Sorgu Parametrelerini Yönetmek
URL'lerin sonuna manuel olarak
?key=value&... şeklinde eklemeler yapmak yerine, params= argümanı ile bir sözlük iletebilirsiniz:
Python:
import requests
response = requests.get(
"https://api.github.com/search/repositories",
params={"q": "python", "sort": "stars", "per_page": 3},
)
data = response.json()
for repo in data["items"]:
print(repo["full_name"], "-", repo["stargazers_count"], "stars")
Bu yöntemle
requests, boşluklar veya özel karakterler gibi URL kodlaması gerektiren durumları sizin yerinize güvenli bir şekilde yönetir.Kodu çalıştırdığınızda oluşan nihai URL'yi kontrol etmek isterseniz,
response.url üzerinden bu bilgiye erişebilirsiniz; bu özellik özellikle hata ayıklama sürecinde çok faydalıdır.JSON Verisi ile POST İstekleri Göndermek
Sunucuya veri iletmek, yeni bir kayıt oluşturmak veya mevcut bir veriyi değiştirmek için
requests.post kullanılır:
Python:
import requests
payload = {
"title": "Docs update",
"body": "Added HTTP requests page.",
"labels": ["docs"],
}
response = requests.post(
"https://api.example.com/issues",
json=payload,
headers={"Authorization": "Bearer YOUR_TOKEN"},
)
print(response.status_code)
print(response.json())
Buradaki
json= parametresi iki kritik görevi üstlenir: payload içeriğini JSON formatına çevirir ve isteğin başlığına Content-Type: application/json bilgisini ekler. İsterseniz bunu data=json.dumps(payload) şeklinde elle de yapabilirsiniz ancak json= kullanımı çok daha pratiktir.Eğer klasik bir HTML formu gibi form-encoded veri göndermeniz gerekiyorsa, bunun yerine
data= parametresini kullanmalısınız:
Python:
requests.post("https://example.com/login", data={"user": "rosa", "password": "..."})
HTTP Başlıklarını (Headers) Kullanmak
Özel başlıklar eklemek istediğinizde bunları bir sözlük yapısıyla iletebilirsiniz:
Python:
import requests
response = requests.get(
"https://api.example.com/profile",
headers={
"Authorization": "Bearer abc123",
"User-Agent": "my-tool/1.0",
},
)
Çoğu modern API, güvenlik ve kimlik doğrulama için
Authorization başlığının gönderilmesini bekler. Kullanılacak şema (Bearer, Basic veya Token) ilgili API'nin dokümantasyonunda belirtilir.Zaman Aşımı (Timeout) Ayarlarının Önemi
requests varsayılan olarak yanıt gelene kadar süresiz bekler. Bu durum, yanıt vermeyen bir sunucu nedeniyle programınızın tamamen donmasına yol açabilir. Bu yüzden her zaman bir timeout değeri belirleyin:
Python:
import requests
try:
response = requests.get("https://api.example.com/slow", timeout=5)
except requests.Timeout:
print("Server took too long.")
Saniye cinsinden verilen
timeout=5 ifadesi, "5 saniye içinde yanıt gelmezse işlemi sonlandır" anlamına gelir. Daha hassas bir kontrol için (connect_timeout, read_timeout) şeklinde bir tuple da kullanabilirsiniz.Hataları Yönetmek
Karşılaşabileceğiniz sorunlar genel olarak ikiye ayrılır:
1. HTTP Hataları (4xx ve 5xx): Sunucuya ulaşıldı ancak sunucu bir hata döndürdü. Bunu
response.status_code ile anlayabilirsiniz.2. Ağ Sorunları: Zaman aşımı, DNS hataları veya sunucuya hiç erişememe durumlarıdır. Bu durumlar istisna (exception) fırlatır.
Profesyonel bir yaklaşım için bu iki durumu şu şekilde birleştirebilirsiniz:
Python:
import requests
try:
response = requests.get("https://httpbin.org/status/404", timeout=5)
response.raise_for_status() # raises HTTPError for 4xx/5xx
except requests.HTTPError as e:
print(f"HTTP error: {e.response.status_code}")
except requests.RequestException as e:
print(f"Network error: {e}")
raise_for_status() metodu, yanıt 2xx serisindeyse hiçbir işlem yapmaz, ancak hata durumunda istisna fırlatır. RequestException ise kütüphanedeki tüm hataların ana sınıfıdır; böylece tüm ağ problemlerini tek bir blokta yakalayabilirsiniz.Dosya İndirme İşlemleri
Boyutu büyük dosyaları indirirken belleği (RAM) tüketmemek için yanıtı akış (stream) şeklinde işlemeniz gerekir:
Python:
import requests
url = "https://example.com/large.zip"
with requests.get(url, stream=True, timeout=30) as r:
r.raise_for_status()
with open("large.zip", "wb") as f:
for chunk in r.iter_content(chunk_size=8192):
f.write(chunk)
stream=True parametresi, içeriğin hemen indirilmemesini sağlar. Ardından iter_content(chunk_size=...) ile veri parça parça okunur ve doğrudan dosyaya yazılır.Oturumlar (Sessions) ile Performans Artırımı
Aynı sunucuya birden fazla istek atacaksanız
Session nesnesi kullanmak çok daha verimlidir. Bu yöntem, TCP bağlantısını yeniden kullanarak hızı artırır ve ortak ayarları her seferinde tanımlama zahmetinden kurtarır:
Python:
import requests
session = requests.Session()
session.headers.update({"Authorization": "Bearer abc123"})
# Every request through this session carries the header.
a = session.get("https://api.example.com/users/1")
b = session.get("https://api.example.com/users/2")
c = session.post("https://api.example.com/users", json={"name": "Rosa"})
Sıkça API çağrısı yapan script'ler için oturum yönetimi ciddi bir performans kazancı sağlar.
Pratik Bir Uygulama: Basit Bir GitHub İstemcisi
Bir depodaki (repo) en güncel sürüm bilgisini çekmek için şu yapı kullanılabilir:
Python:
import requests
def latest_release(owner, repo):
url = f"https://api.github.com/repos/{owner}/{repo}/releases/latest"
response = requests.get(url, timeout=10)
response.raise_for_status()
data = response.json()
return {
"tag": data["tag_name"],
"name": data["name"],
"published": data["published_at"],
"url": data["html_url"],
}
release = latest_release("python", "cpython")
print(release)
Oldukça kısa bir kodla URL oluşturulup istek atılır, hatalar denetlenir ve istenen veriler ayıklanır. Yazacağınız çoğu API entegrasyonu temel olarak bu mantıkla çalışacaktır.
urllib Kullanmalı mıyız?Standart kütüphanedeki
urllib.request modülü, requests'in sunduğu her şeyi yapabilir; ancak bunu çok daha fazla kodla ve daha zor bir kullanım tarzıyla gerçekleştirir. Eğer dışarıdan kütüphane ekleme imkanınız kesinlikle yoksa tercih edilebilir:
Python:
import json
import urllib.request
with urllib.request.urlopen("https://api.github.com/repos/python/cpython") as r:
data = json.loads(r.read().decode("utf-8"))
print(data["name"])
Ancak basit bir betikten daha fazlasını geliştiriyorsanız,
requests (veya asenkron ihtiyaçlar için httpx) kurmaya kesinlikle değer.Dikkat Edilmesi Gereken Temel Alışkanlıklar
• Her istekte mutlaka bir timeout süresi belirleyin.
• Programın başarıyla tamamlanmasını istediğiniz yerlerde
raise_for_status() kullanarak hataları görünür kılın.• URL stringlerini elle birleştirmek yerine
params= ve json= parametrelerine sözlükler geçirin.• Aynı servise çok sayıda istek gönderirken
Session kullanın.• Hata ayıklama sırasında
response.status_code ve response.text bilgilerini kaydedin; sunucu hatasının nedeni genellikle gövde metninde yazar.Sıradaki Konu: Tarihler ve Saatler
requests kütüphanesi sayesinde artık modern web API'leriyle iletişim kurabilir, dosya indirebilir ve sistemler arasında entegrasyonlar sağlayabilirsiniz. JSON ve CSV işlemleriyle birlikte artık veriyi çekme, işleme ve kaydetme döngüsünü tamamlamış oldunuz. Çoğu veri setinde zaman damgaları bulunduğu için, bir sonraki aşamada Python'da tarih ve saat yönetimine, ayrıca dikkat edilmesi gereken saat dilimi karmaşalarına değineceğiz.