pretrain

2 posts

02 de set. de 2026

The day the loss stopped learning

300 training steps, a loss stuck at 10.8125, and a model that insisted on coming out blank. The cause wasn't a low learning rate — it was exploded weights in the starting checkpoint. The story of how a stalled run became a full diagnosis.

Estudos llm pretrain

Continuar lendo →

Estudos

02 de set. de 2026

O dia em que a loss parou de aprender

300 passos de treino, loss congelada em 10.8125 e um modelo que insistia em sair em branco. A causa não era a taxa de aprendizado baixa — eram pesos explodidos no checkpoint de partida. A história de como um treino parado virou um diagnóstico completo.

Estudos llm pretrain

Continuar lendo →

Navegar por tags

The day the loss stopped learning

O dia em que a loss parou de aprender