38 posts
79 testes passando num dia, 4 falhando no outro, zero mudanças no código. O Arachne acumulou três sabores diferentes de flakiness em 48 horas — e cada um exigiu uma faca diferente: vetores aleatórios, rede que escapa do mock, e um assert que nunca rodou.
79 tests green one day, 4 failing the next, zero production changes. Arachne stacked three different flavors of flakiness in 48 hours — and each one required a different knife: random vectors, network escaping the mock, and an assert that never ran.
Um teste apagava as tabelas RAG no teardown. Numa rodada, a variável de ambiente apontando pro banco isolado foi ignorada pelo engine — e o DELETE caiu no arachne.db de produção, com o server vivo escrevendo nele. O que salvou os dados foi uma mensagem de erro.
A test was deleting RAG tables on teardown. One run, the environment variable pointing at the isolated database was ignored by the engine — and the DELETE landed on the production arachne.db, with the live server writing to it. What saved the data was an error message.
A landing do Arachne carregava sem CSS, o watchdog reiniciava o serviço em loop invisível e um socat zumbi roubava a porta do dono legítimo. Três bugs encadeados em um único diagnóstico — e a lição de que um serviço 'parado' pode continuar causando estrago.
The Arachne landing page loaded without CSS, the watchdog restarted the service in an invisible loop, and a zombie socat relay kept stealing the port from its rightful owner. Three chained bugs in a single diagnosis — and the lesson that a 'stopped' service can keep causing damage.
Three embedding models, two search systems, one homegrown benchmark: the study that started with a question about semantic similarity and ended up revealing the tradeoffs between colibri, bge and openai — and how each one found its place in the ecosystem.
Três modelos de embedding, dois sistemas de busca, um benchmark caseiro: o estudo que começou com uma pergunta sobre similaridade semântica e terminou revelando os tradeoffs entre colibri, bge e openai — e como cada um deles encontrou seu lugar no ecossistema.
O relatório do axe-core não deixou escapatória: 92 nós de contraste falhos, botões sem nome, selects sem label, zoom bloqueado no onboarding. Em dois dias o Arachne foi de 60 nós de violação para zero em 16 rotas — trocando tokens de cor, adicionando aria-label, aprendendo na marra que Cloudflare immutable serve CSS velho e que CSS de SPA com code-split não mora onde você espera.
The axe-core report left no room for excuses: 92 contrast failures, buttons without accessible names, selects without labels, blocked zoom on the onboarding page. In two days Arachne went from 60 violation nodes to zero across 16 routes — swapping color tokens, adding aria-labels, and learning the hard way that Cloudflare immutable serves stale CSS and that code-split SPA CSS doesn't live where you expect it.
Navegação preditiva no Arachne: o agente recebe uma imagem da página, prevê em cadeia os próximos passos e executa de ponta a ponta. Cascata de fallback D→C→B→A, driver real no browser_agent, elo de scraping e broadcast WebSocket no Cockpit.
Predictive navigation in Arachne: the agent receives a page image, predicts the whole next chain of steps, and executes end-to-end. D→C→B→A fallback cascade, real browser_agent driver, scraping link and WebSocket broadcast on the Cockpit.
Arachne's vision pipeline evolved: qwen2.5vl:7b on Ollama WSL, arachne-vlm-jobs queue with arachne-vlm-w1 worker, SQLite vlm_cache.db cache (sha256), polling GET /api/extract/image-jobs/{id}. Vision requires JWT, PYTHONPATH api/ and PostgreSQL not SQLite.
O pipeline de visão do Arachne evoluiu: qwen2.5vl:7b no Ollama WSL, fila arachne-vlm-jobs com worker arachne-vlm-w1, cache SQLite vlm_cache.db (sha256) e polling GET /api/extract/image-jobs/{id}. Visão exige JWT, PYTHONPATH api/ e PostgreSQL (não SQLite).
O Arachne rodava 10 serviços em Docker Compose. Kubernetes aparecia no meu CV como keyword desejada — mas eu não usava. Em vez de mentir, decidi adotar k3s de verdade: single-node, com plano em fases, rollback garantido e métricas de RAM como critério de parada.
Arachne ran 10 services on Docker Compose. Kubernetes showed up on my resume as a desired keyword — but I didn't use it. Instead of lying, I decided to adopt k3s for real: single-node, with a phased plan, guaranteed rollback, and RAM metrics as the stopping criterion.
De madrugada, o Arachne acordava intermitente: o workflow de scraping falhava com 'browser agent não disponível neste worker'. O journal mostrava um RuntimeError enigmático: o lock do browser pool estava preso a um event loop que não era o do worker. A causa: asyncio.Lock() criado no import. O fix: lazy init — nascer dentro do loop certo.
In the early hours, Arachne woke up intermittent: the scraping workflow failed with 'browser agent not available in this worker'. The journal showed a cryptic RuntimeError: the browser pool lock was bound to an event loop that wasn't the worker's. The cause: asyncio.Lock() created at import time. The fix: lazy init — born inside the right loop.
O Arachne respondia 200, mas as rotas autenticadas renderizavam vazio. Um Bug Hunter encontrou 1.239 erros de QueuePool no journal desde as 02:57. A causa: um generator de sessão que nunca era fechado — cada request vazava uma transação idle in transaction até o pool de 30 conexões estourar.
Arachne responded 200, but authenticated routes rendered empty. A Bug Hunter found 1,239 QueuePool errors in the journal since 02:57. The cause: a session generator that was never closed — each request leaked an idle-in-transaction connection until the 30-connection pool exploded.
From 3 projects in June to 5 in July, the Samuel ecosystem now has 2,396 commits, 3,647+ tests, and one agent orchestrating it all.
De 3 projetos em junho pra 5 em julho, o ecossistema Samuel agora tem 2.396 commits, 3.647+ testes, e um agente orquestrando tudo.
25 ferramentas MCP, visão multimodal com IA local, observabilidade, billing e o sandbox que tornou o Arachne uma plataforma — o estado atual do projeto em julho de 2026.
25 MCP tools, multimodal vision with local AI, observability, billing, and the sandbox that made Arachne a platform — the current state of the project in July 2026.
Exploring hybrid search — lessons, challenges, and discoveries.
Explorando busca híbrida — aprendizados, desafios e descobertas.
The architecture that actually solves web data extraction: Trafilatura, Crawl4AI SDK, Docker Sidecar, and Camoufox — how each layer works, the fallback criteria, and what I learned along the way.
A arquitetura que realmente resolve extração de dados na web: Trafilatura, Crawl4AI SDK, Sidecar Docker e Camoufox — como cada camada funciona, os critérios de fallback, e o que aprendi no caminho.