scraping

8 posts

08 de jun. de 2026

Multi-engine pipeline in Arachne — 4 fallback layers

The architecture that actually solves web data extraction: Trafilatura, Crawl4AI SDK, Docker Sidecar, and Camoufox — how each layer works, the fallback criteria, and what I learned along the way.

Arachne pipeline multi-engine

Continuar lendo →

08 de jun. de 2026

Pipeline multi-engine no Arachne — 4 camadas de fallback

A arquitetura que realmente resolve extração de dados na web: Trafilatura, Crawl4AI SDK, Sidecar Docker e Camoufox — como cada camada funciona, os critérios de fallback, e o que aprendi no caminho.

Arachne pipeline multi-engine

Continuar lendo →

03 de jun. de 2026

First tests with Crawl4AI — Sidecar and Docker

Experimenting with Crawl4AI in Arachne: Docker Sidecar, Python SDK, comparison with Trafilatura, and the decision to use automatic fallback between engines.

Arachne crawl4ai docker

Continuar lendo →

03 de jun. de 2026

Primeiros testes com Crawl4AI — Sidecar e Docker

Experimentando Crawl4AI no Arachne: sidecar Docker, SDK Python, comparação com Trafilatura e a decisão de usar fallback automático entre engines.

Arachne crawl4ai docker

Continuar lendo →

03 de jun. de 2026

O Arachne nasceu de uma frustração — scrapers quebrados e dados perdidos

Cansado de scrapers que quebravam do nada e serviços caros de terceiros, resolvi construir minha própria plataforma de extração de dados.

Arachne scraping crawl4ai

Continuar lendo →

03 de jun. de 2026

Arachne Was Born from Frustration — Broken Scrapers and Lost Data

Tired of scrapers that broke out of nowhere and expensive third-party services, I decided to build my own data extraction platform.

Arachne scraping crawl4ai

Continuar lendo →

01 de jun. de 2026

Arachne — o scraper que virou plataforma

A história real de como um scraper Python de 200 linhas virou uma plataforma com 740+ arquivos, RAG, pipelines visuais e 36 ferramentas ReAct.

Arachne scraping crawl4ai

Continuar lendo →

01 de jun. de 2026

Arachne — the Scraper That Became a Platform

The real story of how a 200-line Python scraper became a platform with 740+ files, RAG, visual pipelines and 36 ReAct tools.

Arachne scraping crawl4ai

Continuar lendo →