16 posts
A catatonic BitMamba 1B — broken tokenizer, 10^18 gradients, a midnight ENOMEM and a CUDA wedge that faked a dead GPU — closed 500 steps and the validation reproduced the eval loss to the fourth decimal. The diary of Phase 4B on a 12 GB RTX 3060.
Um BitMamba 1B catatônico — tokenizador quebrado, gradientes a 10^18, ENOMEM no meio da madrugada e um wedge de CUDA que fingia ser GPU morta — fechou 500 steps e a validação reproduziu o eval loss até o quarto dígito. O diário da Fase 4B numa RTX 3060 de 12 GB.
The codec post ended with a dangling issue: the lm_head diverging in validation. Two weeks later, a methodical audit rescaled the model's head, generated a clean checkpoint, and became the foundation of Phase 4 — the Resurrection.
O post do codec terminou com uma pendência: o lm_head divergindo na validação. Duas semanas depois, uma auditoria metódica re-escalou a cabeça do modelo, gerou um checkpoint limpo e virou a base da Fase 4 — a Ressurreição.
From the wave field theory paper to BitMamba-2 1B: how a study on wave propagation became the TatuEngine inference engine, and why the Ollama truncation loop (num_ctx 4096 vs 262K) became the Docs First rule that runs across the entire ecosystem.
Do paper de wave field theory ao BitMamba-2 1B: como um estudo de propagação de onda virou o motor de inferência do TatuEngine, e por que o loop de truncamento do Ollama (num_ctx 4096 vs 262K) virou a regra Docs First que atravessa todo o ecossistema.
De 78 posts, só 1 era de estudos — o loop de truncamento do Ollama. Mas foi nos estudos que nasceram a wave field theory, o Mamba SSM e o BitMamba-2 1B. A história do que a seção mais carente do blog realmente produziu.
Out of 78 posts, only 1 was about studies — the Ollama truncation loop. But it was in the studies that wave field theory, Mamba SSM and the BitMamba-2 1B were born. The story of what the blog's most neglected section actually produced.
Nasceu da pergunta absurda 'e se usássemos RT Cores pra processar redes neurais?', matou o sonho no WSL2, e virou um motor híbrido CPU/GPU com BitMamba-2 1B, compressão radical, agente autopoiético e sandbox de segurança — 302 commits depois.
Born from the absurd question 'what if we used RT Cores to process neural networks?', killed the dream on WSL2, and became a hybrid CPU/GPU engine with BitMamba-2 1B, radical compression, an agent with 8 subsystems and a security sandbox — 302 commits later.
298 commits, zero new features in 30 days, and an SSM inference engine that runs unsupervised. The TatuEngine doesn't need changes — it just works.
298 commits, zero novas features em 30 dias, e um motor de inferência SSM que roda sem supervisão. O TatuEngine não precisa de mudanças — ele só funciona.
Exploring the current state of TatuEngine — lessons, challenges, and discoveries.
Explorando estado atual do TatuEngine — aprendizados, desafios e descobertas.
Exploring the beginnings of TatuEngine — lessons, challenges, and discoveries.
Explorando os primórdios do TatuEngine — lições, desafios e descobertas.