10 posts
An LLM call ends in 200 OK with empty content and the pipeline moves on like nothing happened. Diagnosis: reasoning models burn the token budget thinking and nothing is left for the answer. The fixes: a token ceiling with real margin, and a parser that tolerates a data: [DONE] glued to the JSON.
Chamada LLM termina em 200 OK com content vazio, a fila segue e ninguém reclama. Diagnóstico: reasoning models gastam o budget de tokens pensando e sobra zero pra resposta. Os consertos: teto de tokens com margem e parser que aceita SSE sujo.
The new stage in my transcription pipeline uses Gemini TEXT over 120s windows — no audio, cheap and fast. What keeps the model from making things up isn't a polite prompt: it's a numeric ±35% character invariant per window, with retry and flag when the math doesn't close.
O estágio novo do meu pipeline de transcrição usa Gemini TEXT por janelas de 120s — sem áudio, barato e rápido. O que impede o modelo de inventar não é um prompt educado: é um invariante numérico de ±35% de caracteres por janela, com retry e flag quando a conta não fecha.
300 training steps, a loss stuck at 10.8125, and a model that insisted on coming out blank. The cause wasn't a low learning rate — it was exploded weights in the starting checkpoint. The story of how a stalled run became a full diagnosis.
300 passos de treino, loss congelada em 10.8125 e um modelo que insistia em sair em branco. A causa não era a taxa de aprendizado baixa — eram pesos explodidos no checkpoint de partida. A história de como um treino parado virou um diagnóstico completo.
I actually read the BitNet b1.58 paper and got stuck on a math problem that refused to add up: how do three values (-1, 0, +1) fit in 1.58 bits? A study week that became a didactic clone of ternary quantization — and wrecked my mental model of 'precision equals quality'.
Li o paper do BitNet b1.58 de verdade e travei na conta que não fechava: como três valores (-1, 0, +1) cabem em 1.58 bits? Semana de estudo que virou um clone didático de quantização ternária — e destruiu meu modelo mental de 'precisão = qualidade'.
Hermes kept entering a continuation loop 4 times before giving up. The cause: Ollama, by default, only allocates 4096 context tokens — regardless of the model supporting 262K. The hard way: num_ctx of the model ≠ num_ctx of the inference slot.
O Hermes entrava em loop de continuation 4x seguidas antes de desistir. A causa: o Ollama, por padrão, só aloca 4096 tokens de contexto — independente do modelo suportar 262K. Aprendi na marra que num_ctx do modelo ≠ num_ctx do slot.