Monitoramento

2 posts

03 de set. de 2026

Step 322 — when training dies in silence and VRAM is left orphaned

The Phase 4 run dropped mid-flight with no traceback, no OOM, no error log: the process simply stopped existing. Chasing the cause turned into a lesson about watching the wrong metrics — and about the invisible cost of letting your GPU driver sweep up your garbage.

TatuEngine fase4 pytorch

Continuar lendo →

TatuEngine

03 de set. de 2026

O step 322 — quando o treino morre em silêncio e a VRAM fica de órfã

A rodada da Fase 4 caiu no meio sem traceback, sem OOM e sem log de erro: o processo simplesmente deixou de existir. Caçar a causa virou uma lição sobre olhar a métrica certa — e sobre o custo invisível de deixar o driver da GPU varrendo o seu lixo.

TatuEngine fase4 pytorch

Continuar lendo →

Navegar por tags

Step 322 — when training dies in silence and VRAM is left orphaned

O step 322 — quando o treino morre em silêncio e a VRAM fica de órfã