2 Commits

Author	SHA1	Message	Date
Richard Loyer	c9d4e625eb	dist: métriques vérifiées batterie pleine — KV f16 (pas q8_0), q35-lmq4 HTP=189 ... Reconfirmé device froid 90% (les chiffres throttlés d'hier soir étaient faux): - KV f16 >> q8_0 au decode: q35-lmq4 f16=10.9 vs q8_0=6.5 (-40%, idem d=512). Le déquant KV flash-attn coûte plus que le BW. JNI corrigé type_k/v=F16 (rebuild .so requis avant ship; le .so livré=q8_0 validé, inchangé). - q35-lmq4 prefill HTP=189 ~= 2x Qwen3.5-Q4_0 (98): embeds/output Q4 restent sur NPU vs Q6_K fallback CPU. Argument fort de plus pour q35-lmq4 (+5% decode ET ~2x prefill HTP). - decode sain: q35-lmq4 10.9, dense 11.7. prefill CPU JNI=14 (t4). Decision KV résolue; decision prefill CPU-only vs HTP ouverte (189 motive le câblage). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-27 09:23:57 +02:00
Richard Loyer	9417aba6cb	dist: handoff intégration aligné décisions 26/05 (modèle q35-lmq4, perf, prompt) ... HANDOFF.md = point d'entrée: modèle Speaker tranché = q35-lmq4 (éval qualité), 9B écarté, kernel GDN clos. État JNI: config OK (t4/fa/thinking-off/greedy) MAIS CPU-only (ngl0) -> 2 décisions ouvertes documentées (prefill CPU vs HTP non câblé; KV q8_0 à revérifier, peut coûter au decode). system_fr.txt = prompt prod (garde-fous 3114 + tutoiement + ne-pas-présumer, correctifs issus de l'éval). MODELS/PERF/STATUS réalignés (decode 10.8, prefill 89.5 HTP capacité mais JNI=CPU ~19, quant sous-Q4 morte). package.sh réassemble lib/ depuis ql/b. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-26 23:33:41 +02:00