Transkript ip blocked

This commit is contained in:
salvacybersec
2025-11-13 03:52:26 +03:00
parent 372ed6401b
commit bb416e1f37
5 changed files with 135 additions and 8 deletions

View File

@@ -311,11 +311,26 @@ channel_id = get_channel_id_from_handle(handle_url)
- `update_video_transcript(video_id, raw, clean, status, language)` - Transcript güncelleme
- `get_processed_videos(limit=None, channel_id=None)` - İşlenmiş videoları getir
- `mark_video_failed(video_id, reason)` - Kalıcı hata işaretleme (status=2)
- `is_transcript_cached(video_id, cache_days=3)` - Transcript cache kontrolü (3 günlük)
- `get_cached_transcript(video_id)` - Cache'den transcript getirme
- **Query Performance**: `EXPLAIN QUERY PLAN` ile index kullanımını doğrula
- [ ] **Transcript Cache Mekanizması**:
- **3 Günlük Cache**: İşlenmiş transcript'ler 3 gün boyunca cache'de tutulur
- **Cache Kontrolü**: Transcript çıkarımından önce cache kontrolü yapılır
- **Avantajlar**:
- YouTube IP blocking riskini azaltır
- Performans artışı (tekrar isteklerde hızlı yanıt)
- API rate limiting'i azaltır
- Aynı videoların transcript'ini tekrar çekmez
- **Cache Süresi**: `processed_at_utc` tarihine göre 3 gün kontrolü
- **Otomatik Yenileme**: 3 gün sonra cache geçersiz olur, yeni transcript çekilir
- [ ] Yeni video tespiti algoritması:
1. RSS-Bridge feed'den son videoları çek
2. SQLite veritabanında `video_id` ile sorgula
3. Sadece yeni videoları (veritabanında olmayan) işle
4. **Cache Kontrolü**: İşlenmiş videolar için 3 günlük cache kontrolü yap
- Eğer 3 gün içinde işlenmişse, transcript çıkarma (cache'den kullan)
- 3 günden eskiyse, yeni transcript çek
- [ ] Transaction yönetimi (ACID compliance)
- [ ] Connection pooling ve error handling