learning-rate

2 posts

Sep 06, 2026

The training that woke up slow — the inheritance hidden inside a checkpoint

I resumed a run from the last checkpoint and it looked healthy — steps advancing, gradient in range, zero errors. Except the learning rate had quietly shrunk by three orders of magnitude. The cause: the LR scheduler restores more than it should when loading old state, and the fix was two lines.

tatuengine fase4 pytorch

Continue reading →

TatuEngine

Sep 06, 2026

O treino que acordou lento — a herança escondida dentro do checkpoint

Retomei uma rodada do zero do último checkpoint e ela seguiu firme — steps passando, gradiente saudável, nenhuma mensagem de erro. Só que a taxa de aprendizado tinha encolhido três ordens de grandeza sem pedir licença. A causa: o agendador de LR restaura mais do que deveria ao carregar estado antigo, e a correção foram duas linhas.

tatuengine fase4 pytorch

Continue reading →

Browse by tags

The training that woke up slow — the inheritance hidden inside a checkpoint

O treino que acordou lento — a herança escondida dentro do checkpoint