Richard Loyer
|
f68ecb4573
|
chantier LLM dispatch : .pte NPU + GGUF CPU, factory LlmLoader + doc dev + diag bug version QNN
- LlmLoader.kt : chargeur agnostique (magic-byte GGUF/ET12), interface LlmEngine,
GgufLlmEngine (CPU-i8mm, hybride Qwen3.5-4B) + PteLlmEngine (NPU, denses).
- LLM_INTEGRATION.md : doc dev complète (modeles, perf mesuree, integration, SELinux no-root,
export .pte) ; remplace la v02/06 perimee (GGUF+ggml-hexagon).
- .pte denses prepares+valides on-device : Qwen3-4B 15.7 / Qwen3-8B 10.5 / Guard-4B 17.2 /
Qwen2.5-7B 8.0 tok/s ; wrapper JNI libkazeia_pte parite bit-exacte.
- BUG_pte_inapp_qnn_version_mismatch.md : diag in-app err 5010 = backend QNN != 2.42 (pas le .pte) ;
ancien rapport overflow int32 retracte (refute par test CLI 8B).
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-18 22:51:16 +02:00 |