From 6aa4d06c9555dcfb1965274b7d705684b02c8f28 Mon Sep 17 00:00:00 2001 From: Richard Loyer Date: Sun, 24 May 2026 12:57:37 +0200 Subject: [PATCH] Ambition haute: cible = Qwen3.5-4B near-ExecuTorch, prefill GDN sur HTP, decode CPU Co-Authored-By: Claude Opus 4.7 (1M context) --- CLAUDE.md | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/CLAUDE.md b/CLAUDE.md index 5c04eb3..e90c80e 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -29,11 +29,11 @@ Upstream `ggml-org/llama.cpp` a le backend Hexagon officiel Qualcomm : `libggml- - ⚠ `to_delete/llama.cpp` a déjà `qwen3next` + `ggml_backend_hexagon_qwen35_compile` : amorce GDN-HTP existante → BENCHER avant d'écrire un kernel. - Charge Kazeia: prefill 500-2000 tok/tour, CPU ~75 → 7-27s, HTP → 3-13s. Utile, pas vital. -## Identité = A : intégration produit (tranché Richard) -Kazeia-Engine = couche d'intégration + tuning prefill-HTP de llama.cpp upstream. PAS de kernel GDN custom. GDN reste CPU pour decode ET prefill ; prefill HTP profite à Qwen3-4B + aux 8 FullAttn de Qwen3.5. Cible: Kazeia tourne bien, vite, low-risk. Aide assistant pleine (config/build/bench, pas de frontière kernel). -1. Rebuild upstream master + ggml-hexagon, valider htp-v79 sur tablette. -2. Bench Qwen3-4B (≈ ExecuTorch?) + Qwen3.5-4B-Q4_0, mesurer prefill GDN CPU baseline. -3. Tuning mémoire <4 GB, decode CPU NEON / prefill HTP. Si suffisant: livré. +## Identité = faire tourner Qwen3.5-4B bien (tranché Richard, ambition haute) +Pas l'intégration minimale. Cible: Qwen3.5-4B near-ExecuTorch sur Pad3, mémoire mini, sans .pte. Decode=CPU verrouillé (16.5 tok/s, acquis). Bataille = prefill: pousser les 24 GDN sur HTP. Kernel GDN-HTP = sujet R&D, frontière kernel (aide assistant partielle: structure/debug, pas micro-optims bit-exactes). +1. Rebuild upstream master + ggml-hexagon, valider htp-v79 + run 3.5-4B end-to-end CPU. +2. **Bencher `qwen35_compile` HTP existant**: 0%, partiel ou OK? décide écrire-vs-finir kernel. +3. Baseline prefill GDN CPU à battre. Mémoire <4 GB Q4_0/Q6_K-embeds. Itérer kernel si gap. ## Limite assistant R&D LLM frontière (kernels HVX bit-exacts, quant) = aide partielle, je le dis au cas par cas.