17 lines
1.2 KiB
Markdown
17 lines
1.2 KiB
Markdown
# Statut & limites (MAJ 26/05) — à lire avant intégration
|
||
|
||
VALIDÉ device : load 4B, generate() bout-en-bout (test_native), decode CPU exact, FR cohérent,
|
||
thinking-off déterministe. Modèle tranché = `q35-lmq4` (éval qualité ../eval/VERDICT.md).
|
||
Perf : prefill clos côté kernel GDN (pas le goulot), decode au plafond CPU.
|
||
|
||
LIMITES / OUVERT :
|
||
1. **Prefill HTP RÉCUPÉRABLE** (27/05) : charabia causé par 1 op, SSM_CONV (conv1d), cassée sur HTP en
|
||
prefill. Fix = `GGML_HEXAGON_OPFILTER=SSM_CONV` → prefill HTP 181 t/s cohérent (×13). Config livrée = CPU-only
|
||
(A) ; B = mono-ctx HTP+OPFILTER (181/decode 6.4) ; C = dual-ctx (181/decode 10.9, +2.3GB). cf HANDOFF.md déc.2.
|
||
TODO backend : corriger SSM_CONV HTP (oracle test-backend-ops -o SSM_CONV).
|
||
2. **KV = f16 (résolu, JNI corrigé)** : f16=10.9 vs q8_0=6.5 au decode. Rebuild .so requis (livré=q8_0).
|
||
3. `generate()` applique déjà ChatML + thinking-off. App fournit `sys`/`usr` (voir system_fr.txt).
|
||
4. TTS Talker GGUF chargeable mais **audio e2e non validé** (= intégration app).
|
||
5. STT inchangé (ORT-QAIRT). 9B/30B/35B écartés (lents/OOM).
|
||
6. Le tg/pp de ce soir étaient throttlés (batterie ~11%) — reconfirmer les chiffres sur batterie pleine.
|