Ollama ile DeepSeek R1 Distill Kurulumu (Linux) (Gizliliği Yaymak)

rootrize · 19 Nis 2025

Merhaba

Bu kurulum kılavuzu, Linux işletim sistemi üzerinde Ollama kullanarak DeepSeek R1 Distill modelini çalıştırmayı amaçlamaktadır.
Ollama, açık kaynaklı büyük dil modellerini yerel olarak çalıştırmayı kolaylaştıran bir araçtır.
DeepSeek R1 Distill ise, yüksek performans ve verimlilik sunan dikkat çekici bir dil modelidir.

Ollama ve DeepSeek R1 Distill modelini Linux sisteminizde çalıştırmak için gereken minimum ve önerilen sistem gereksinimleri aşağıda özetlenmiştir.
Ancak, belirtmek gerekir ki, performans büyük ölçüde DeepSeek R1 Distill modelinin belirli versiyonuna (parametre sayısı) ve kullanım senaryolarınıza bağlı olacaktır.

Ollama Sistem Gereksinimleri:

Kod:

Minimum:

    İşletim Sistemi: Linux (Ubuntu 22.04 veya üzeri önerilir)
    RAM: 8 GB (7B parametreli modellere kadar)
    Disk Alanı: 12 GB (Ollama ve temel modeller için) + kullanacağınız modellere bağlı olarak ek alan
    İşlemci: Son 5 yıl içinde üretilmiş, 2 çekirdekli 64-bit işlemci

Önerilen:

    İşletim Sistemi: Linux (Ubuntu 22.04 veya üzeri)
    RAM: 16 GB veya üzeri (daha büyük modeller ve daha iyi performans için)
    Disk Alanı: 50 GB veya üzeri (çeşitli modelleri depolamak için) - NVMe SSD tercih edilir.
    İşlemci: 4 veya daha fazla çekirdekli modern bir işlemci (AVX512 veya DDR5 desteği önerilir)
    GPU (Opsiyonel): NVIDIA GPU (CUDA compute capability 5.0 veya üzeri) veya belirli AMD GPU'lar (ROCm destekli). GPU, özellikle büyük modellerde performansı önemli ölçüde artırır.

DeepSeek R1 Distill Sistem Gereksinimleri:

Kod:

DeepSeek R1 Distill'in farklı boyutlarda (parametre sayılarında) versiyonları bulunmaktadır.
En yaygın olanları 1.5B, 7B ve 70B'dir. Gereksinimler bu boyutlara göre değişiklik gösterir:

DeepSeek R1 Distill (1.5B Parametre):

    RAM: 4 GB veya üzeri (yalnızca CPU ile çalıştırılabilir)
    GPU: NVIDIA RTX 3060 (12 GB VRAM) veya üzeri (önerilir)

DeepSeek R1 Distill (7B Parametre):

    RAM: 8 GB veya üzeri (yalnızca CPU ile çalıştırılabilir, ancak yavaş olabilir)
    VRAM (GPU): Minimum 8 GB (NVIDIA RTX 3070 veya üzeri önerilir), 16 GB önerilir.

DeepSeek R1 Distill (70B Parametre):

    RAM: 64 GB veya üzeri (yalnızca CPU ile çalıştırmak pratik değildir)
    VRAM (GPU): Minimum 24 GB (NVIDIA RTX 4090 veya üzeri önerilir), birden fazla yüksek VRAM'li GPU gerekebilir.

Genel Notlar:

VRAM (Ekran Kartı Belleği): Yüksek VRAM, modelin daha büyük partilerle ve daha karmaşık görevlerle daha verimli çalışmasını sağlar.
Depolama: Modellerin kendileri de önemli miktarda disk alanı kaplar. Hızlı bir SSD, yükleme ve çalışma sürelerini iyileştirir.
Soğutma: Özellikle GPU yoğun işlemlerde yeterli soğutma önemlidir.
Güç Kaynağı: Güçlü bir GPU kullanıyorsanız, yeterli वाट gücüne sahip bir güç kaynağına ihtiyacınız olabilir.

Özetle, Ollama'nın kendisi nispeten düşük sistem gereksinimlerine sahip olsa da, DeepSeek R1 Distill modelinin performanslı bir şekilde çalışması için özellikle yeterli RAM ve VRAM'e sahip bir sistem önerilir. Hangi boyuttaki DeepSeek R1 Distill modelini kullanacağınıza bağlı olarak gereksinimler önemli ölçüde değişebilir. Daha küçük modeller (1.5B, 7B) daha mütevazı donanımlarda çalışabilirken, 70B gibi büyük modeller yüksek performanslı bir GPU gerektirir.

Adım 1: Ollama Kurulumu

Öncelikle sisteminizde Ollama'nın kurulu olması gerekmektedir.

Ollama Web Sitesini Ziyaret Edin: Tarayıcınızda
Linkleri görebilmek için Turkmmo Forumuna ÜYE olmanız gerekmektedir.
adresine gidin.
Kurulum Talimatlarını İnceleyin: Web sitesinde işletim sisteminize uygun kurulum talimatlarını bulacaksınız. Linux için genellikle bir kurulum betiği sunulmaktadır.
Kurulum Betiğini Çalıştırın (Örnek): Terminalinizi açın ve aşağıdaki komutu kullanarak kurulum betiğini indirebilir ve çalıştırabilirsiniz (bu komut web sitesindeki güncel talimatlara göre değişiklik gösterebilir):

Bash:

curl -fsSL https://ollama.com/install.sh | sh

4. Kurulumu Tamamlayın:
Betik, Ollama'yı sisteminize indirecek ve gerekli yapılandırmaları yapacaktır. Kurulum tamamlandığında, terminalinizde bir onay mesajı görmelisiniz.

5. Ollama'yı Test Edin:
Kurulumun başarılı olup olmadığını kontrol etmek için aşağıdaki komutu çalıştırın:

Bash:

ollama --version

Bu komut, kurulu olan Ollama'nın sürümünü göstermelidir.

Adım 2: DeepSeek R1 Distill Modelini İndirme

Ollama kurulduktan sonra, DeepSeek R1 Distill modelini indirmeniz gerekmektedir. Ollama, modelleri doğrudan komut satırından indirmenize olanak tanır:

Terminali Açın: Yeni bir terminal penceresi açın.
Modeli İndirme Komutunu Çalıştırın: Aşağıdaki komutu kullanarak DeepSeek R1 Distill modelini indirin:
Bash:
```
ollama pull deepseek-ai/deepseek-r1-distill
```
Bu komut, DeepSeek R1 Distill modelinin gerekli katmanlarını ve ağırlıklarını internetten indirecektir. İndirme süresi internet bağlantınızın hızına bağlı olarak değişebilir.
İndirme İşlemini İzleyin: Terminalde modelin indirme sürecini gösteren bir çıktı göreceksiniz. İndirme tamamlandığında, "Success" benzeri bir mesaj almalısınız.

Adım 3: DeepSeek R1 Distill Modelini Çalıştırma

Model başarıyla indirildikten sonra, Ollama aracılığıyla DeepSeek R1 Distill'i çalıştırmaya başlayabilirsiniz:

Terminali Açın: Yeni bir terminal penceresi açın.
Modeli Çalıştırma Komutunu Girin: Aşağıdaki komutu kullanarak modeli başlatın:
Bash:
```
ollama run deepseek-ai/deepseek-r1-distill
```
Bu komut, modeli yükleyecek ve etkileşimli bir sohbet ortamı başlatacaktır.
Model ile Etkileşim Kurun: Terminalde >>> şeklinde bir prompt göreceksiniz. Buraya sorularınızı veya komutlarınızı yazarak model ile etkileşim kurabilirsiniz. Örneğin:
>>> Merhaba, nasılsın?
Model, bu soruya uygun bir cevap verecektir.

Adım 4: Gelişmiş Kullanım ve Yapılandırma (Opsiyonel)

Ollama ve DeepSeek R1 Distill, gizlilik ve çeşitli yapılandırma seçenekleri sunar. Örneğin:

Farklı Etiketler (Tags): DeepSeek R1 Distill modelinin farklı nicemlenmiş (quantized) versiyonları olabilir. Bunları ollama pull deepseek-ai/deepseek-r1-distill:<etiket> şeklinde indirebilirsiniz. Örneğin, daha az kaynak tüketen bir versiyon için farklı bir etiket deneyebilirsiniz.
Model Bilgilerini Görüntüleme: İndirdiğiniz modellerin listesini ve detaylarını görmek için aşağıdaki komutu kullanabilirsiniz:
Bash:
```
ollama list
```
Modeli Silme: Bir modeli sisteminizden kaldırmak için aşağıdaki komutu kullanabilirsiniz:
Bash:
```
ollama rm deepseek-ai/deepseek-r1-distill
```

Ollama ve DeepSeek R1 Distill Bağlamında Yerel Çalıştırma, Gizlilik, Tekrarlanabilirlik ve Açık Kaynak

Yerel Çalıştırma ve Gizlilik (Ollama & DeepSeek R1 Distill): Ollama, DeepSeek R1 Distill gibi büyük dil modellerini yerel makinenizde çalıştırmanıza olanak tanır. Bu, model etkileşimlerinizin ve verilerinizin doğrudan sizin kontrolünüzde olduğu anlamına gelir. Hassas verilerle çalışırken veya gizliliğin önemli olduğu senaryolarda, verilerinizin harici sunuculara gönderilmemesi büyük bir avantaj sunar. Ollama'nın bu özelliği, DeepSeek R1 Distill'i güvenli ve özel bir ortamda kullanmanızı sağlar.

Tekrarlanabilirlik ve Açık Kaynak (Ollama & DeepSeek R1 Distill): Ollama'nın açık kaynaklı yapısı, kurulum sürecinin ve model kullanımının şeffaf ve tekrarlanabilir olmasını destekler. Kurulum adımlarının ve model çalıştırma komutlarının açıkça tanımlanması, diğer araştırmacıların veya kullanıcıların aynı ortamı kolayca oluşturabilmesini sağlar. DeepSeek R1 Distill'in kendisi belirli lisans koşullarına sahip olsa da, Ollama'nın açık kaynaklı olması, modelin yerel ortamda nasıl entegre edildiği ve kullanıldığı konusunda şeffaflık sunar. Bu, araştırmaların doğrulanabilirliğini ve geliştirilebilirliğini artırır.