Richard Loyer
|
a5d591a07b
|
doc: PERF_CPU_OPTIMS.md — bilan optims CPU, RTF 2.93->2.45
Synthèse de 6 stratégies CPU testées systématiquement :
T1.bench profile fin : ggml_init=0ms, copies gratuites, delta 24ms = sample_head
T1.1 thread sweep : T=6 G=8 optimal, T=8 catastrophe (RTF 40+)
T1.2 affinity taskset : Android tatillon, masks restrictifs freezent
T2.1 NEON heads 16-way : -33% CP, -16% pipeline, BIT-EXACT <- GROS GAIN
T2.2 threadpool persist : estimé 0.15% gain, skipped
T1.3 ctx réutilisé : invalidé par profile (init=0ms)
État final RTF 2.45 stable sur 3 phrases (33/41/60 frames). Decoder
maintenant 49% du total. Plafond CPU pur atteint sans toucher kernel.
Leviers résiduels :
- Streaming pipeline (1 session) : seul gain UX disponible, TTFB ~500ms
- Decoder fine optim : < 5% potentiel additionnel
- RTF<1 = chantier kernel hexagon ou Vulkan, hors scope CPU
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-05-29 17:30:54 +02:00 |