Mesures 4B: HTP prefill 44 / CPU decode 13.4, qwen35_compile HTP fonctionne
This commit is contained in:
parent
2779babcab
commit
eceacaba9a
|
|
@ -40,3 +40,6 @@ Source: `/opt/Kazeia/to_delete/llama.cpp` = upstream ggerganov + ggml-hexagon +
|
||||||
## Limite assistant
|
## Limite assistant
|
||||||
R&D LLM frontière (kernels HVX bit-exacts, quant) = aide partielle, je le dis au cas par cas.
|
R&D LLM frontière (kernels HVX bit-exacts, quant) = aide partielle, je le dis au cas par cas.
|
||||||
GGUF/llama.cpp archivés vers `/opt/Kazeia/to_delete`. Git local: commits réguliers. — Richard & Damien.
|
GGUF/llama.cpp archivés vers `/opt/Kazeia/to_delete`. Git local: commits réguliers. — Richard & Damien.
|
||||||
|
|
||||||
|
## Mesures 24/05 (build f0fe1058b, Pad3, Q4_0)
|
||||||
|
prefill HTP pp128=44 / decode CPU tg16=13.4 ; HTP decode=4.4, CPU prefill pp32=18.5. → split prefill-HTP/decode-CPU OK, qwen35_compile HTP fonctionne. cli boucle (76min/0tok) — bench OK. Cible: pousser prefill 44→. Staging tablette: /data/local/tmp/kz-engine.
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue