Youtube2Feed/README.md

# YouTube Transcript RSS Feed Generator

YouTube video transkriptlerini otomatik olarak çıkarıp, tam metin içeren RSS feed'ine dönüştüren Docker tabanlı sistem.

## Özellikler

- ✅ **RSS-Bridge benzeri URL template** - Kanal adı/linki ile direkt feed
- ✅ **Web Server Modu** - Flask ile RESTful API
- ✅ **API Key Authentication** - Tüm endpoint'ler API key gerektirir
- ✅ **Güvenlik Önlemleri** - SQL injection, XSS, rate limiting koruması
- ✅ **Transcript Cache** - 3 günlük cache ile YouTube IP blocking önleme
- ✅ **FlareSolverr Desteği** - Bot korumasını aşmak için FlareSolverr entegrasyonu
- ✅ **Gerçek Tarayıcı Header'ları** - User-Agent rotasyonu ve tam tarayıcı header seti
- ✅ **Detaylı Loglama** - Timestamp'li, kategorize edilmiş log sistemi
- ✅ RSS-Bridge entegrasyonu (100+ video desteği)
- ✅ Async rate limiting (AIOLimiter)
- ✅ SpaCy ile Sentence Boundary Detection
- ✅ SQLite veritabanı (durum yönetimi)
- ✅ Full-text RSS feed (`<content:encoded>`)
- ✅ Channel handle → Channel ID otomatik dönüştürme
- ✅ Atom ve RSS format desteği

## Hızlı Başlangıç

### Docker ile Web Server Modu (Önerilen)

```bash
# Build
docker-compose build

# Web server'ı başlat (port 5000)
docker-compose up -d

# Logları izle
docker-compose logs -f
```

### API Key Yapılandırması

**ÖNEMLİ:** Tüm endpoint'ler API key gerektirir!

API key'leri `config/security.yaml` dosyasından yönetin:

```yaml
security:
  require_api_key: true
  api_keys:
    demo_key_12345:
      name: "Demo API Key"
      rate_limit: 100
      enabled: true
```

### URL Template Kullanımı

RSS-Bridge benzeri URL template sistemi:

```bash
# Channel ID ile (API key header'da)
curl -H "X-API-Key: demo_key_12345" \
  "http://localhost:5000/?channel_id=UC9h8BDcXwkhZtnqoQJ7PggA&format=Atom"

# Channel Handle ile (API key query parametresi)
curl "http://localhost:5000/?channel=@tavakfi&format=Atom&api_key=demo_key_12345"

# Channel URL ile (max_items: her istekte işlenecek transcript sayısı, default: 10, max: 100, 5'şer batch'ler)
curl -H "X-API-Key: demo_key_12345" \
  "http://localhost:5000/?channel_url=https://www.youtube.com/@tavakfi&format=Atom&max_items=50"
```

**Detaylı API dokümantasyonu için:** [API.md](API.md)

### Batch Mode (Manuel Çalıştırma)

```bash
# Tek seferlik çalıştırma
docker-compose run --rm yttranscriptrss python main.py
```

### Yerel Geliştirme

```bash
# Virtual environment oluştur
python -m venv venv
source venv/bin/activate  # Linux/Mac
# veya
venv\Scripts\activate  # Windows

# Bağımlılıkları kur
pip install -r requirements.txt

# SpaCy modelini indir
python -m spacy download en_core_web_sm

# Çalıştır
python main.py
```

## Yapılandırma

### Ana Yapılandırma

`config/config.yaml` dosyasını düzenleyin:

```yaml
channel:
  id: "UC9h8BDcXwkhZtnqoQJ7PggA"  # veya handle: "@username"
  name: "Channel Name"
  language: "tr"

rss_bridge:
  base_url: "https://rss-bridge.org/bridge01"
  format: "Atom"
  max_items: 100  # RSS-Bridge'den çekilecek video sayısı (web server'da max_items parametresi farklı)

# FlareSolverr ayarları (YouTube IP blocking önleme için)
flaresolverr:
  url: "http://192.168.1.27:8191/v1"  # FlareSolverr API URL'i (devre dışı için null)
```

### Güvenlik Yapılandırması

`config/security.yaml` dosyasından API key'leri ve güvenlik ayarlarını yönetin:

```yaml
security:
  require_api_key: true
  api_keys:
    your_api_key_here:
      name: "Your API Key"
      rate_limit: 100
      enabled: true
  default_rate_limit: 60
```

**Detaylı güvenlik dokümantasyonu için:** [SECURITY.md](SECURITY.md)

### Transcript Cache

Sistem, işlenmiş transcript'leri **3 gün boyunca cache'de tutar**. Bu özellik:

- **YouTube IP blocking'i önler**: Aynı videoların transcript'ini tekrar çekmez
- **Performans artışı**: Cache'den hızlı yanıt
- **Rate limiting azaltır**: Gereksiz API isteklerini önler
- **Otomatik yenileme**: 3 gün sonra cache geçersiz olur, yeni transcript çekilir

Cache kontrolü otomatik yapılır ve kullanıcı müdahalesi gerektirmez.

### max_items Parametresi

Her API isteğinde kaç video transcript'inin işleneceğini kontrol eder:

- **Varsayılan**: 10 transcript
- **Maksimum**: 100 transcript
- **Kullanım**: `?max_items=50` query parametresi ile belirtilir
- **Batch İşleme**: 5'şer batch'ler halinde işlenir (YouTube IP blocking önleme için)

**Önemli Notlar:**
- `max_items` parametresi **her istekte işlenecek transcript sayısını** belirler
- RSS-Bridge'den daha fazla video çekilir (max_items × 2, minimum 50) çünkü bazı videolar transcript'siz olabilir
- **Batch İşleme**: YouTube IP blocking'i önlemek için 5'şer batch'ler halinde işlenir
- **Batch'ler Arası Bekleme**: 60-90 saniye random bekleme (human-like behavior)
- **Veritabanı Kaydı**: Her batch işlendikten sonra hemen veritabanına kaydedilir, böylece sonraki sorgularda görülebilir
- İlk isteklerde daha az transcript görebilirsiniz; sonraki isteklerde cache'den daha fazla transcript döner

**Örnek:**
```bash
# 50 transcript işle (5+5+5+5+5+5+5+5+5+5 batch'ler halinde)
curl -H "X-API-Key: demo_key_12345" \
  "http://localhost:5000/?channel_id=UC9h8BDcXwkhZtnqoQJ7PggA&max_items=50&format=Atom"
```

### FlareSolverr Yapılandırması

FlareSolverr, YouTube'un bot korumasını aşmak için gerçek tarayıcı kullanır:

```yaml
# config/config.yaml
flaresolverr:
  url: "http://192.168.1.27:8191/v1"  # FlareSolverr API URL'i
```

veya environment variable:
```bash
export FLARESOLVERR_URL=http://192.168.1.27:8191/v1
```

**FlareSolverr Avantajları:**
- Gerçek tarayıcı kullanımı (headless browser)
- Bot algılamasını aşma
- Cloudflare ve DDoS-GUARD korumasını bypass etme
- Otomatik fallback: FlareSolverr erişilemezse normal istek yapılır

### Gerçek Tarayıcı Header'ları

Sistem, gerçek tarayıcı gibi görünmek için:
- **User-Agent Rotasyonu**: 7 farklı tarayıcı User-Agent'ı (Chrome, Firefox, Safari, Edge)
- **Tam Header Seti**: Accept, Accept-Language, Sec-Fetch-*, Referer, vb.
- **Her İstekte Random**: Her istekte farklı User-Agent seçilir

### Detaylı Loglama

Sistem, tüm işlemleri kategorize edilmiş loglarla takip eder:

- **`[RATE_LIMIT]`**: Rate limiting ve bekleme süreleri
- **`[TRANSCRIPT]`**: Transcript çıkarım işlemleri
- **`[PROCESS]`**: Genel işlem akışı
- **`[BATCH]`**: Batch işleme bilgileri
- **`[VIDEO]`**: Video seviyesi işlemler
- **`[CACHE]`**: Cache kontrolleri
- **`[FLARESOLVERR]`**: FlareSolverr istekleri
- **`[HEADERS]`**: Header yönetimi

Log formatı: `YYYY-MM-DD HH:MM:SS | LEVEL | MODULE | MESSAGE`

## Proje Yapısı

```
yttranscriptrss/
├── src/
│   ├── database.py          # SQLite yönetimi
│   ├── video_fetcher.py     # RSS-Bridge entegrasyonu
│   ├── transcript_extractor.py  # Transcript çıkarımı
│   ├── transcript_cleaner.py    # NLP ve temizleme
│   └── rss_generator.py     # RSS feed oluşturma
├── config/
│   └── config.yaml          # Yapılandırma
├── data/
│   └── videos.db            # SQLite veritabanı
├── output/
│   └── transcript_feed.xml  # RSS feed çıktısı
├── Dockerfile
├── docker-compose.yml
└── main.py
```

## Dokümantasyon

- **[API.md](API.md)** - Detaylı API dokümantasyonu, endpoint'ler, örnekler
- **[SECURITY.md](SECURITY.md)** - Güvenlik önlemleri, best practices
- **[development_plan.md](development_plan.md)** - Geliştirme planı ve roadmap

## Endpoints

- `GET /` - RSS/Atom feed oluştur (API key gerekli)
- `GET /health` - Health check (API key gerekmez)
- `GET /info` - API bilgileri (API key gerekli)

## Geliştirme Planı

Detaylı geliştirme planı için `development_plan.md` dosyasına bakın.

## Lisans

MIT