36 posts
A catatonic BitMamba 1B — broken tokenizer, 10^18 gradients, a midnight ENOMEM and a CUDA wedge that faked a dead GPU — closed 500 steps and the validation reproduced the eval loss to the fourth decimal. The diary of Phase 4B on a 12 GB RTX 3060.
Um BitMamba 1B catatônico — tokenizador quebrado, gradientes a 10^18, ENOMEM no meio da madrugada e um wedge de CUDA que fingia ser GPU morta — fechou 500 steps e a validação reproduziu o eval loss até o quarto dígito. O diário da Fase 4B numa RTX 3060 de 12 GB.
I resumed a run from the last checkpoint and it looked healthy — steps advancing, gradient in range, zero errors. Except the learning rate had quietly shrunk by three orders of magnitude. The cause: the LR scheduler restores more than it should when loading old state, and the fix was two lines.
Retomei uma rodada do zero do último checkpoint e ela seguiu firme — steps passando, gradiente saudável, nenhuma mensagem de erro. Só que a taxa de aprendizado tinha encolhido três ordens de grandeza sem pedir licença. A causa: o agendador de LR restaura mais do que deveria ao carregar estado antigo, e a correção foram duas linhas.
The Phase 4 run dropped mid-flight with no traceback, no OOM, no error log: the process simply stopped existing. Chasing the cause turned into a lesson about watching the wrong metrics — and about the invisible cost of letting your GPU driver sweep up your garbage.
A rodada da Fase 4 caiu no meio sem traceback, sem OOM e sem log de erro: o processo simplesmente deixou de existir. Caçar a causa virou uma lição sobre olhar a métrica certa — e sobre o custo invisível de deixar o driver da GPU varrendo o seu lixo.
300 training steps, a loss stuck at 10.8125, and a model that insisted on coming out blank. The cause wasn't a low learning rate — it was exploded weights in the starting checkpoint. The story of how a stalled run became a full diagnosis.
300 passos de treino, loss congelada em 10.8125 e um modelo que insistia em sair em branco. A causa não era a taxa de aprendizado baixa — eram pesos explodidos no checkpoint de partida. A história de como um treino parado virou um diagnóstico completo.
The codec post ended with a dangling issue: the lm_head diverging in validation. Two weeks later, a methodical audit rescaled the model's head, generated a clean checkpoint, and became the foundation of Phase 4 — the Resurrection.
O post do codec terminou com uma pendência: o lm_head divergindo na validação. Duas semanas depois, uma auditoria metódica re-escalou a cabeça do modelo, gerou um checkpoint limpo e virou a base da Fase 4 — a Ressurreição.
A repo that accumulates build artifacts and syncs doesn't tell the clean story you want to show. TatuEngine went through versioning hygiene: build artifacts out of git, auto-sync running, and a repository ready for outsiders to look at without handing over the internal recipe.
Um repo que acumula artefatos de build e sync não conta a história limpa que você quer mostrar. O TatuEngine passou por uma higienização de versionamento: artefatos de build fora do git, auto-sync rodando e um repositório preparado pra quem for olhar de fora sem entregar a receita interna.
The BitMamba-2 1B's 1:1 BVH took 27.26GB — unworkable. A compact ternary block codec delivered 114× compression, with the lm_head diverging mid-validation.
O BVH 1:1 do BitMamba-2 1B ocupava 27.26GB — inviável. Um codec de blocos ternários compactos entregou 114× de compressão, com o lm_head divergindo no meio da validação.
TatuEngine had 5.7GB of AI models committed to git since day one. GitHub rejects objects above 2GB with a 422 error — that push would never succeed. The fix wasn't 'pushing through': it was an orphan branch that preserved code, tests, and docs and rewrote the repository's history from scratch.
O TatuEngine tinha 5.7GB de modelos de IA commitados no git desde o primeiro dia. O GitHub rejeita objetos acima de 2GB com erro 422 — o push nunca passaria. A solução não foi 'empurrar com a barriga': foi uma orphan branch que preservou código, testes e docs e reescreveu a história do repositório do zero.
TatuEngine got a punishment layer v3: progressive fines for repeat offenses, partial cold restart, automatic tool denial and output reprimand. The idea: instead of only rewarding good behavior, punish bad behavior with growing intensity — like an immune system that learns from every mistake.
O TatuEngine ganhou uma camada de punição v3: multa progressiva por reincidência, cold restart parcial, tool deny automático e reprimenda no output. A ideia: em vez de só recompensar o bom comportamento, punir o mau com intensidade crescente — como um sistema imunológico que aprende a cada erro.
The autopoietic agent with ToolUse, an MCP server and a hybrid sandbox is the biggest attack surface in my ecosystem. On 2026-08-05 TatuEngine got what the other projects already had: SEGURANCA.md v1.0, a 24h watchdog, and a rule that changes how the project is developed.
O agente autopoiético com ToolUse, MCP server e sandbox é a maior superfície de ataque do meu ecossistema. Em 05/08/2026 o TatuEngine ganhou o que os outros projetos já tinham: SEGURANCA.md v1.0, watchdog 24h e uma regra que muda como o projeto é desenvolvido.
After learning to infer (252× GPU speedup), TatuEngine went for the Master-Apprentice cycle: a Qwen2.5-3B teacher with LoRA distilling structured reasoning ([THOUGHT]/[ANSWER]) into the BitMamba-2 1B student. Six versions in one day (v0.17→v0.22.2), 381 examples, and the convergence that wouldn't come until the system message fix.
Depois de aprender a inferir (GPU 252×), o TatuEngine partiu pro ciclo Mestre-Aprendiz: um teacher Qwen2.5-3B com LoRA destilando raciocínio estruturado ([THOUGHT]/[ANSWER]) pro student BitMamba-2 1B. Seis versões num dia (v0.17→v0.22.2), 381 exemplos e a convergência que não vinha até o fix do system message.
Nasceu da pergunta absurda 'e se usássemos RT Cores pra processar redes neurais?', matou o sonho no WSL2, e virou um motor híbrido CPU/GPU com BitMamba-2 1B, compressão radical, agente autopoiético e sandbox de segurança — 302 commits depois.
Born from the absurd question 'what if we used RT Cores to process neural networks?', killed the dream on WSL2, and became a hybrid CPU/GPU engine with BitMamba-2 1B, radical compression, an agent with 8 subsystems and a security sandbox — 302 commits later.
Quando sua engine executa código gerado por IA, você precisa de um sandbox que não atrapalhe o desenvolvimento mas também não deixe passar path traversal.
When your engine runs AI-generated code, you need a sandbox that doesn't hinder development but won't let path traversal slip through.
298 commits, zero new features in 30 days, and an SSM inference engine that runs unsupervised. The TatuEngine doesn't need changes — it just works.
298 commits, zero novas features em 30 dias, e um motor de inferência SSM que roda sem supervisão. O TatuEngine não precisa de mudanças — ele só funciona.
Exploring the current state of TatuEngine — lessons, challenges, and discoveries.
Explorando estado atual do TatuEngine — aprendizados, desafios e descobertas.
The saga of making Student BitMamba-1B learn without exploding: Adafactor vs AdamW, saving 4 GB of VRAM, and the 4 bugs that produced NaN during bf16 training.
A saga de fazer o Student BitMamba-1B aprender sem explodir: Adafactor vs AdamW, a economia de 4 GB de VRAM, e os 4 bugs que produziam NaN no treinamento em bf16.
A jornada (e as crateras) de treinar um Mamba-2 de 1.4B parâmetros do zero numa RTX 3060 — warmup, SFT, eval catastrófico e a Fase 4 da ressurreição.
The journey (and the craters) of training a Mamba-2 with 1.4B parameters from scratch on an RTX 3060 — warmup, SFT, catastrophic eval, and Phase 4 of the resurrection.
Exploring the beginnings of TatuEngine — lessons, challenges, and discoveries.
Explorando os primórdios do TatuEngine — lições, desafios e descobertas.