Kazeia-engine/dist/PITFALLS.md

442 B

Pièges (vécus)

  • --reasoning-budget 0 OBLIGATOIRE (sinon thinking anglais, vide). enable_thinking=false.
  • -ngl fixe en CLI => params_fit throw. ne pas override n_gpu_layers cote bench.
  • -st sans tty=vide; sans -st=boucle infinie. JNI=ni l'un ni l'autre (boucle decode explicite).
  • decode-NPU=4t/s lent: decode TOUJOURS CPU. prefill HTP.
  • 30B/35B Q3 >RAM=OOM. cascade max ~11.5GB. Guard K_M=prefill CPU (pas repack), OK thinker court.