context-length

2 posts

Jul 28, 2026

Ollama Truncation Loop — or: How 4096 Context Tokens Cost Me 2 Hours of Debugging

Hermes kept entering a continuation loop 4 times before giving up. The cause: Ollama, by default, only allocates 4096 context tokens — regardless of the model supporting 262K. The hard way: num_ctx of the model ≠ num_ctx of the inference slot.

estudos ollama llm

Continue reading →

Estudos

Jul 28, 2026

Ollama Truncation Loop — ou: como 4096 tokens de contexto me fizeram perder 2h de debug

O Hermes entrava em loop de continuation 4x seguidas antes de desistir. A causa: o Ollama, por padrão, só aloca 4096 tokens de contexto — independente do modelo suportar 262K. Aprendi na marra que num_ctx do modelo ≠ num_ctx do slot.

estudos ollama llm

Continue reading →

Browse by tags

Ollama Truncation Loop — or: How 4096 Context Tokens Cost Me 2 Hours of Debugging

Ollama Truncation Loop — ou: como 4096 tokens de contexto me fizeram perder 2h de debug