DFlash 2: Speculative Decoding’de Yeni SOTA — Qwen3.8-27B ile 3.43 Kat Hızlanma

DFlash 2, büyük dil modelleri için speculative decoding (spesülatif kod çözme) alanında yeni bir SOTA (State-of-the-Art) başarıya imza attı. Yeni nesil paralel taslak oluşturucu, DeepSeek’in DSpark yöntemini geride bırakarak önemli bir ilerleme kaydetti.

DFlash 2 Nasıl Çalışıyor?

Geleneksel büyük dil modelleri token’ları sırayla üretir: her adımda bir token hesaplanır. DFlash 2 ise farklı bir strateji izliyor. Ana modele token’ları önceden bir dizi halinde tahmin ediyor, ardından bu seriyi tek seferde doğruluyor. Ne kadar çok token doğru tahmin edilirse, üretim o kadar hızlanıyor.

Qwen3.8-27B Üzerinde Benchmark Sonuçları

DFlash 2, Qwen3.8-27B modeli üzerinde dikkat çekici sonuçlar elde etti:

• Ortalama kabul uzunluğu: 4.80 (DSpark: 3.62)
• GSM8K testinde: 5.46’ya karşı 4.36 — yüzde 25 daha iyi
• Maksimum çıkarım hızı: 3.43 kat daha hızlı

Paralel ve Sıralı Bağımlılık Sorunu

DFlash 2’nin en önemli teknik başarısı, paralel taslak oluşturma ile sıralı bağımlılık arasındaki dengeyi çözmesinde yatıyor. K token’ı aynı anda tahmin etmek için K pozisyonu aynı anda hesaplanmalı; ancak dilin doğası gereği token’lar birbirinden bağımsız değil — bir önceki token değiştiğinde sonraki token’lar da değişmek zorunda.

İlk nesil DFlash paralel üretim tercih etti ve hız avantajı elde etti, ancak token’lar arasındaki sıralı bağımlılık bilgisi eksik kaldığı için kabul oranı düştü. DFlash 2 bu sorunu çözerek hem paralel üretim hızından hem de sıralı tutarlılıktan yararlanıyor.

Sonuç ve gelecek Potansiyeli

DFlash 2, büyük dil modellerinin gerçek zamanlı uygulamalarda daha hızlı çalışmasının önünü açıyor. Özellikle yüksek gecikme gereksinimlerinin olduğu üretim ortamlarında, 3.43 kat hızlanma önemli maliyet ve kullanıcı deneyimi avantajları sağlayabilir.