7 lines
442 B
Markdown
7 lines
442 B
Markdown
# Pièges (vécus)
|
|
- --reasoning-budget 0 OBLIGATOIRE (sinon thinking anglais, vide). enable_thinking=false.
|
|
- -ngl fixe en CLI => params_fit throw. ne pas override n_gpu_layers cote bench.
|
|
- -st sans tty=vide; sans -st=boucle infinie. JNI=ni l'un ni l'autre (boucle decode explicite).
|
|
- decode-NPU=4t/s lent: decode TOUJOURS CPU. prefill HTP.
|
|
- 30B/35B Q3 >RAM=OOM. cascade max ~11.5GB. Guard K_M=prefill CPU (pas repack), OK thinker court.
|