6 posts
The BitMamba-2 1B's 1:1 BVH took 27.26GB — unworkable. A compact ternary block codec delivered 114× compression, with the lm_head diverging mid-validation.
O BVH 1:1 do BitMamba-2 1B ocupava 27.26GB — inviável. Um codec de blocos ternários compactos entregou 114× de compressão, com o lm_head divergindo no meio da validação.
Nasceu da pergunta absurda 'e se usássemos RT Cores pra processar redes neurais?', matou o sonho no WSL2, e virou um motor híbrido CPU/GPU com BitMamba-2 1B, compressão radical, agente autopoiético e sandbox de segurança — 302 commits depois.
Born from the absurd question 'what if we used RT Cores to process neural networks?', killed the dream on WSL2, and became a hybrid CPU/GPU engine with BitMamba-2 1B, radical compression, an agent with 8 subsystems and a security sandbox — 302 commits later.
A jornada (e as crateras) de treinar um Mamba-2 de 1.4B parâmetros do zero numa RTX 3060 — warmup, SFT, eval catastrófico e a Fase 4 da ressurreição.
The journey (and the craters) of training a Mamba-2 with 1.4B parameters from scratch on an RTX 3060 — warmup, SFT, catastrophic eval, and Phase 4 of the resurrection.