1001 B
1001 B
Statut & limites (MAJ 26/05) — à lire avant intégration
VALIDÉ device : load 4B, generate() bout-en-bout (test_native), decode CPU exact, FR cohérent,
thinking-off déterministe. Modèle tranché = q35-lmq4 (éval qualité ../eval/VERDICT.md).
Perf : prefill clos côté kernel GDN (pas le goulot), decode au plafond CPU.
LIMITES / OUVERT :
- Bridge = CPU-only (ngl0) : prefill sur CPU (~18-19 t/s), pas HTP. HTP (89.5) non câblé (ping-pong mono-contexte). OK tours courts ; split HTP→CPU = non trivial, à faire si RAG/long.
- KV q8_0 à revérifier sur batterie pleine (peut coûter au decode à court contexte).
generate()applique déjà ChatML + thinking-off. App fournitsys/usr(voir system_fr.txt).- TTS Talker GGUF chargeable mais audio e2e non validé (= intégration app).
- STT inchangé (ORT-QAIRT). 9B/30B/35B écartés (lents/OOM).
- Le tg/pp de ce soir étaient throttlés (batterie ~11%) — reconfirmer les chiffres sur batterie pleine.