AI Chatbot Self-Hosted Kurulum

Self-hosted AI chatbot kurulumları, işletmelerin veri gizliliğini korurken güçlü yapay zeka yeteneklerini kendi altyapılarında kullanmalarını sağlar. Bulut tabanlı çözümlerden farklı olarak, self-hosted sistemler tam kontrol imkanı sunar, maliyetleri düşürür ve kişiselleştirme özgürlüğü verir. Bu rehberde, popüler açık kaynaklı araçlar olan Ollama ve Open WebUI tabanlı bir self-hosted AI chatbot kurulumunu adım adım ele alacağız. Bu yaklaşım, Docker container’ları kullanarak hızlı ve güvenli bir deployment sağlar. Kurulum öncesi sunucu erişiminizin olduğundan emin olun; Linux tabanlı bir VPS veya yerel makine idealdir.

Gereksinimler ve Ön Hazırlık

Başarılı bir kurulum için sistem gereksinimlerini doğru belirlemek kritik öneme sahiptir. Minimum 4 GB RAM, 2 çekirdekli CPU ve 20 GB boş depolama alanı önerilir; GPU desteği için NVIDIA kartı ve CUDA 11.8+ uyumlu sürücüler ekleyin. İşletmeler için ölçeklenebilirlik adına 16 GB RAM ve SSD depolama tercih edin. Bu bileşenler, modellerin yüklenmesini ve inference işlemlerini hızlandırır.

Ön hazırlık aşamasında, sunucunuzu güncelleyin ve gerekli yazılımları yükleyin. Docker ve Docker Compose’un kurulu olması zorunludur. Ubuntu tabanlı sistemlerde şu komutları çalıştırın: sudo apt update && sudo apt install docker.io docker-compose. Ardından Docker servisini etkinleştirin: sudo systemctl start docker && sudo systemctl enable docker. Kullanıcıyı Docker grubuna ekleyin: sudo usermod -aG docker $USER ve yeniden oturum açın. Bu adımlar, izin sorunlarını önler ve container yönetimini kolaylaştırır.

Sistem Optimizasyonları

Sunucunuzu optimize etmek, chatbot’un performansını artırır. Swap alanını en az 4 GB olarak ayarlayın ve /etc/sysctl.conf dosyasına vm.overcommit_memory=1 ekleyin. GPU kullanıyorsanız, NVIDIA Container Toolkit yükleyin: curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg ve ilgili repo’yu ekleyin. Bu ayarlar, bellek yönetimi ve GPU hızlandırmasını iyileştirerek yanıt sürelerini kısaltır. Test için nvidia-smi komutunu kullanın.

Güvenlik Önlemleri

Güvenlik, self-hosted sistemlerin temel taşıdır. Firewall kurallarını yapılandırın; UFW ile yalnızca 80 ve 443 portlarını açın: sudo ufw allow 80/tcp && sudo ufw allow 443/tcp && sudo ufw enable. SSL sertifikası için Let’s Encrypt entegrasyonu planlayın. Docker image’larını resmi kaynaklardan çekin ve düzenli güncellemeleri otomatikleştirin. Bu önlemler, veri sızıntılarını ve saldırıları minimize eder, kurumsal uyumluluğu sağlar.

Kurulum Süreci

Kurulum, Docker Compose ile basitçe gerçekleştirilir. Önce bir docker-compose.yml dosyası oluşturun. İçeriği şu şekilde olsun:

version: '3.8'
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    volumes:
      - ollama:/root/.ollama
    ports:
      - "11434:11434"
    restart: unless-stopped
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://host.docker.internal:11434
    depends_on:
      - ollama
    restart: unless-stopped
volumes:
  ollama:
  open-webui:

Dosyayı kaydedin ve docker-compose up -d ile başlatın. Ollama’ya model indirin: docker exec -it ollama ollama pull llama3. Bu işlem 5-10 dakika sürer, model boyutu 4-8 GB arasındadır. Kurulum tamamlandığında, tarayıcıda http://sunucu-ip:3000 adresine erişin ve yönetici hesabı oluşturun.

Yapılandırma ve İleri Kullanım

Yapılandırma panelinde, modelleri yönetin ve sohbet arayüzünü özelleştirin. Open WebUI’de “Settings” sekmesinden tema, dil ve API anahtarlarını ayarlayın. Türkçe destek için modelleri fine-tune edin veya multilingual varyantlar kullanın. Webhook entegrasyonu ile CRM sistemlerinize bağlayın; örneğin, environment değişkenlerine webhook URL’leri ekleyin.

Performans Ayarları

Performansı optimize etmek için Ollama konfigürasyonunda OLLAMA_NUM_PARALLEL=4 ve OLLAMA_MAX_LOADED_MODELS=2 gibi değişkenleri belirleyin. Monitöring için Prometheus ve Grafana entegre edin. Yük testleri yapın: 100 eşzamanlı sorguda yanıt süresi 2 saniyenin altında tutun. Bu ayarlar, yüksek trafikli kurumsal ortamlar için idealdir ve kaynak kullanımını %30’a varan oranda verimli kılar.

Bakım ve Güncellemeler

Düzenli bakım, sistem güvenilirliğini korur. Haftalık docker-compose pull ile güncellemeleri alın ve docker system prune -f ile gereksiz image’ları temizleyin. Logları inceleyin: docker logs open-webui. Yedekleme için volume’ları cron job ile dış diske kopyalayın. Bu rutinler, kesintisiz hizmet sağlar ve olası arızaları önceden tespit eder.

Self-hosted AI chatbot kurulumunu tamamladıktan sonra, işletmeniz AI destekli müşteri hizmetleri, iç bilgi tabanı sorguları veya otomasyonlar için hazır hale gelir. Bu sistemle veri egemenliğini elinizde tutarken, ölçeklenebilir bir altyapı kurmuş olursunuz. Pratik uygulamalarda, kullanıcı geri bildirimlerini izleyerek modelleri iteratif olarak iyileştirin; örneğin, domain-specific prompt’lar ekleyin. Bu rehberi takip ederek, profesyonel bir deployment elde edebilirsiniz.