CSV Formatı: Basit Ama Dikkat Gerektiren Bir Yapı
CSV dosyaları aslında basit metin dosyalarıdır; veriler virgülle ayrılır ve her kayıt yeni bir satırla başlar. Ancak gerçek senaryolarda; tırnak içine alınmış virgüllü metinler, hücre içinde yer alan satır sonları, bölgesel farklılıklar (noktalı virgül kullanımı gibi) veya Excel'in eklediği BOM karakterleri gibi birçok karmaşıklıkla karşılaşırsınız. Bu yüzden basit bir
line.split(",") işlemi yapmak genellikle hatalara yol açar.Python'un standart kütüphanesinde yer alan
csv modülü tüm bu durumları yönetir. Küçük ve orta ölçekli dosyalar için bu modül genellikle fazlasıyla yeterlidir.csv.reader ile Veri Okumacsv.reader fonksiyonu, dosyadaki her bir satırı stringlerden oluşan bir liste şeklinde döndürür:
Python:
import csv
with open("people.csv", newline="") as f:
reader = csv.reader(f)
for row in reader:
print(row)
Bilmeniz gereken bazı kritik noktalar şunlardır:
• Dosyayı
open ile açarken her zaman newline="" parametresini kullanın. CSV modülü satır sonlarını kendisi yönettiği için, bu parametre olmazsa özellikle Windows'ta fazladan boş satırlar oluşabilir.• CSV formatında veri tipi yoktur; tüm değerler string olarak okunur. Örneğin
"42" değerini sayısal bir işlemde kullanmak için int(...) ile dönüştürmeniz gerekir.• Başlık satırı da normal bir veri satırı gibi işlenir. Eğer dosyada başlık varsa, ya ilk satırı manuel olarak atlamalı ya da
DictReader kullanmalısınız.Başlık Satırını Atlamak
Python:
import csv
with open("people.csv", newline="") as f:
reader = csv.reader(f)
headers = next(reader) # pulls the first row out
for row in reader:
print(row)
next(reader) komutu iteratörü bir adım ilerleterek ilk satırı okur ve böylece sonraki işlemlerden başlık satırını çıkarmış olursunuz.DictReader ile Sözlük Yapısında Okumacsv.DictReader, dosyanın ilk satırını otomatik olarak başlık kabul eder ve sonraki her satırı bir sözlük (dictionary) olarak sunar:
Python:
import csv
with open("people.csv", newline="") as f:
reader = csv.DictReader(f)
for row in reader:
print(row["name"], row["email"])
Bu yöntem genellikle en ideal olanıdır çünkü sütun isimleri üzerinden işlem yapmak kodu daha anlaşılır kılar ve dosyada sütunların yerleri değişse bile kodunuz hata vermez.
Eğer dosyada hazır bir başlık satırı yoksa,
fieldnames=["name", "email", ...] parametresi ile sütun isimlerini kendiniz belirleyebilirsiniz.csv.writer ile Veri Yazmacsv.writer, listeler halindeki verileri uygun CSV formatına dönüştürerek dosyaya yazar:
Python:
import csv
rows = [
["name", "age", "city"],
["Rosa", 30, "Lisbon"],
["Ada", 36, "London"],
]
with open("out.csv", "w", newline="") as f:
writer = csv.writer(f)
writer.writerows(rows)
Tek bir satır yazmak için
writerow(row), bir liste veya benzeri iterable yapıdaki tüm verileri tek seferde yazmak için ise writerows(rows) kullanılır. Her iki yöntem de verinin içinde virgül, tırnak veya satır sonu varsa bunları otomatik olarak tırnak içine alır.DictWriter ile Sözlük YazmaVerileriniz zaten sözlük formundaysa,
DictWriter kullanarak veriyi doğrudan yazdırabilirsiniz:
Python:
import csv
people = [
{"name": "Rosa", "age": 30, "city": "Lisbon"},
{"name": "Ada", "age": 36, "city": "London"},
]
with open("out.csv", "w", newline="") as f:
writer = csv.DictWriter(f, fieldnames=["name", "age", "city"])
writer.writeheader()
writer.writerows(people)
fieldnames argümanı hem dosyanın başlık satırını hem de sütunların yazılma sırasını belirler. Sözlüklerinizde olup da fieldnames listesinde yer almayan anahtarlar varsayılan olarak görmezden gelinir; ancak extrasaction="raise" kullanarak bu durumda hata fırlatılmasını sağlayabilirsiniz.Ayraçlar ve Tırnaklama Seçenekleri
Her CSV dosyası virgül kullanmaz. Bölgesel ayarlara göre noktalı virgül (
;), tab (\t) veya dikey çizgi (|) gibi farklı ayraçlar kullanılabilir. Bu durumda delimiter= parametresini kullanmanız gerekir:
Python:
import csv
with open("data.tsv", newline="") as f:
reader = csv.reader(f, delimiter="\t")
for row in reader:
print(row)
Çok özel tırnaklama kuralları olan dosyalar için
csv.register_dialect(...) ile bir kez yapılandırma yapıp bunu tekrar kullanabilirsiniz. Çoğu durumda varsayılan ayarlar ve delimiter tanımı yeterli olacaktır.Karakter Kodlaması (Encoding)
CSV dosyaları metin tabanlı olduğu için karakter kodlamaları önem taşır. Modern standart UTF-8 olsa da, Excel'den gelen bazı dosyalar
cp1252 kullanabilir veya UTF-8 BOM içerebilir. Bu yüzden kodlamayı açıkça belirtmek en güvenli yoldur:
Python:
with open("data.csv", newline="", encoding="utf-8") as f:
reader = csv.DictReader(f)
...
Eğer
UnicodeDecodeError hatasıyla karşılaşırsanız, dosyanın kodlaması tahmin ettiğinizden farklıdır. Genellikle utf-8-sig (Excel BOM'u için), cp1252 veya latin-1 denenebilir.CSV Satırlarını Uygun Tiplere Dönüştürmek
Tüm veriler string olarak okunduğu için, bunları uygun veri tiplerine dönüştürmek sizin sorumluluğunuzdadır:
Python:
import csv
from io import StringIO
raw = """name,age,active
Rosa,30,true
Ada,36,false
Malik,28,true
"""
reader = csv.DictReader(StringIO(raw))
people = []
for row in reader:
people.append({
"name": row["name"],
"age": int(row["age"]),
"active": row["active"].lower() == "true",
})
print(people)
(Kodda kullanılan
StringIO, gerçek bir dosya oluşturmadan örneği çalıştırmamıza imkan tanır; gerçek uygulamalarda open(path) kullanmalısınız.)Tarihler, boş kalabilen sayılar veya farklı formatlardaki true/false değerleri gibi karmaşık tiplerle çalışıyorsanız, bu işlemler için yerleşik kuralları olan pandas kütüphanesini tercih edebilirsiniz.
Ne Zaman pandas Kullanmalısınız?
pandas.read_csv(path) fonksiyonu veriyi bir DataFrame olarak döndürür. Şu ihtiyaçlarınız olduğunda pandas doğru tercihtir:• Satırları filtrelemek:
df[df["active"] == True]• Verileri gruplayıp analiz etmek:
df.groupby("city")["age"].mean()• Farklı tabloları birleştirmek
• Veriyi belirli bir formatta geri yazmak
Python:
import pandas as pd
df = pd.read_csv("people.csv")
adults = df[df["age"] >= 18]
adults.to_csv("adults.csv", index=False)
Pandas, çok basit ve doğrusal okuma işlemleri için gereksiz derecede ağır bir kütüphanedir ve dışarıdan yüklenmesi gerekir (pip ile). Ancak veri analizi söz konusu olduğunda Python dünyasının standart aracıdır.
Çok Büyük Dosyaları Akış (Stream) Olarak İşlemek
csv.reader "lazy" (tembel) çalışan bir yapıdadır, yani veriyi tek seferde belleğe yüklemez, satır satır okur. Bellek kullanımını düşük tutmak için tüm veriyi list(reader) ile listeye çevirmek yerine, bir döngü ile üzerinde gezinin:
Python:
import csv
with open("huge.csv", newline="") as f:
reader = csv.DictReader(f)
error_count = 0
for row in reader:
if row["status"] == "error":
error_count += 1
print(f"Found {error_count} errors.")
Bu yöntem sayesinde, verileri bir listede biriktirmediğiniz sürece 10 GB'lık bir dosyayı bile çok az bellek kullanarak işleyebilirsiniz.
Temel Alışkanlıklar
• CSV okuma ve yazma işlemlerinde
open fonksiyonuna her zaman newline="" parametresini ekleyin.• Başlıkları olan dosyalarda, indeks numaraları yerine isimlerle çalışmak için
DictReader ve DictWriter kullanın.• Özellikle Excel'den veya farklı dillerdeki kaynaklardan gelen dosyalarda encoding (kodlama) ayarını net bir şekilde belirtin.
• Verileri okur okumaz gerekli tip dönüşümlerini yaparak sonraki aşamalarda hata oluşmasını önleyin.
• Veriyi sadece taşımak değil, detaylı analiz etmek istediğinizde pandas'a geçiş yapın.
Sırada
Artık JSON ve CSV dosyalarıyla çalışmayı biliyorsunuz. Bir sonraki adımda, gerçek dünya projelerinin vazgeçilmezi olan ağ üzerinden veri çekme konusunu ve
requests kütüphanesini inceleyeceğiz.