c9d4e625eb
dist: métriques vérifiées batterie pleine — KV f16 (pas q8_0), q35-lmq4 HTP=189
...
Reconfirmé device froid 90% (les chiffres throttlés d'hier soir étaient faux):
- KV f16 >> q8_0 au decode: q35-lmq4 f16=10.9 vs q8_0=6.5 (-40%, idem d=512). Le déquant KV
flash-attn coûte plus que le BW. JNI corrigé type_k/v=F16 (rebuild .so requis avant ship;
le .so livré=q8_0 validé, inchangé).
- q35-lmq4 prefill HTP=189 ~= 2x Qwen3.5-Q4_0 (98): embeds/output Q4 restent sur NPU vs Q6_K
fallback CPU. Argument fort de plus pour q35-lmq4 (+5% decode ET ~2x prefill HTP).
- decode sain: q35-lmq4 10.9, dense 11.7. prefill CPU JNI=14 (t4).
Decision KV résolue; decision prefill CPU-only vs HTP ouverte (189 motive le câblage).
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-05-27 09:23:57 +02:00
fac50d69ce
dist: bandeau HANDOFF source de vérité sur README/INTEGRATION (9B historique)
...
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-05-26 23:34:15 +02:00
9417aba6cb
dist: handoff intégration aligné décisions 26/05 (modèle q35-lmq4, perf, prompt)
...
HANDOFF.md = point d'entrée: modèle Speaker tranché = q35-lmq4 (éval qualité), 9B écarté,
kernel GDN clos. État JNI: config OK (t4/fa/thinking-off/greedy) MAIS CPU-only (ngl0) ->
2 décisions ouvertes documentées (prefill CPU vs HTP non câblé; KV q8_0 à revérifier, peut
coûter au decode). system_fr.txt = prompt prod (garde-fous 3114 + tutoiement + ne-pas-présumer,
correctifs issus de l'éval). MODELS/PERF/STATUS réalignés (decode 10.8, prefill 89.5 HTP capacité
mais JNI=CPU ~19, quant sous-Q4 morte). package.sh réassemble lib/ depuis ql/b.
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-05-26 23:33:41 +02:00
b2fc564f04
Engine sur fork qualcomm: decode dense 15.5>pte, 3.5 ~11, KVq8+t4+fa+lm_head-Q4; prefill 93/285; RAG cross 24-28k
...
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-05-26 15:53:14 +02:00
1252f32bd3
Rapport R&D complet: synthese session, perf, cascade, #277 , briques, reste a faire
...
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-05-25 22:27:34 +02:00
9b62420089
v4 fix #277 : ngl0 CPU decode 14tok/s, 4s/tour, usable
2026-05-25 10:18:31 +02:00
7a5780ca1d
Bridge v3 utilisable: thinking-off ChatML, sys+usr, cap; static intact
2026-05-25 09:41:04 +02:00
76f21a21cb
Bridge STATIC autonome (42MB): zero NEEDED partage, fix collision TTS libllama, valide device
2026-05-24 22:43:45 +02:00
f877902903
STATUS.md: validé/limites pour integrateur
2026-05-24 22:17:42 +02:00
c5c2738281
Valide device: generate() bout-en-bout OK (test_native), bridge pret integration
2026-05-24 22:05:44 +02:00
7dbf38db97
Doc complete: README+MODELS+PERF+PITFALLS, build nettoye
2026-05-24 21:59:56 +02:00
15b9baf6b2
JNI bridge complet: generate() prefill+decode, build arm64 OK (libkazeia_engine.so 209K)
2026-05-24 21:58:00 +02:00
0f92fa723f
Dist Kazeia-Engine: libs arm64+headers+JNI bridge+INTEGRATION/TTS doc; STT reste ORT
2026-05-24 21:55:01 +02:00
Richard Loyer