4 posts
I actually read the BitNet b1.58 paper and got stuck on a math problem that refused to add up: how do three values (-1, 0, +1) fit in 1.58 bits? A study week that became a didactic clone of ternary quantization — and wrecked my mental model of 'precision equals quality'.
Li o paper do BitNet b1.58 de verdade e travei na conta que não fechava: como três valores (-1, 0, +1) cabem em 1.58 bits? Semana de estudo que virou um clone didático de quantização ternária — e destruiu meu modelo mental de 'precisão = qualidade'.
The BitMamba-2 1B's 1:1 BVH took 27.26GB — unworkable. A compact ternary block codec delivered 114× compression, with the lm_head diverging mid-validation.
O BVH 1:1 do BitMamba-2 1B ocupava 27.26GB — inviável. Um codec de blocos ternários compactos entregou 114× de compressão, com o lm_head divergindo no meio da validação.