Arachne — o ecossistema de MCP tools, visão multimodal e o que vem por aí

Quando escrevi o primeiro post sobre o Arachne, ele era basicamente um scraper com RAG. Três meses depois, virou uma plataforma com 25 ferramentas MCP, visão multimodal com IA local, painel de billing, observabilidade e deploy no MCP Registry oficial.

Esse post não é sobre o começo — é sobre onde o Arachne está agora e como ele chegou aqui.

De 4 a 25 MCP tools

O pulo do gato foi o protocolo MCP. Em junho, o Arachne tinha 4 ferramentas MCP expostas via STDIO. Hoje são 25, com dois transportes:

 STDIO — tools locais, acoplamento direto
 SSE  — remoto via arachne.seu.pet/mcp, autenticação X-API-Key

Cada tool tem descrição, timing estimado e fallback chain. O arachne_plan é a orquestradora — você me pergunta “como faço X” e ela monta o plano de execução antes de qualquer tool rodar.

# Exemplo: fallback chain do browser
async def browser_extract(url: str) -> str:
  try:
  return await playwright_extract(url)  #  Playwright stealth
  except BlockedError:
  return await camoufox_extract(url)  #  Camoufox evasão
  except TimeoutError:
  return await screenshot_ocr(url)  #  fallback: captura + OCR

E foi pro MCP Registry oficial como io.github.Samuelfmedeiros/arachne — descoberta automática por qualquer cliente MCP que conheça o nome.

Visão multimodal — 8 estágios + IA local

A feature mais recente e a que mais me orgulha: o pipeline de visão que roda tudo localmente.

# app/vision/pipeline.py — simplified
stages = [
  metadata_extract,  #  dimensões, formato, EXIF
  color_analysis,  #  histograma, paleta dominante
  ocr_extract,  #  texto via Tesseract
  edge_detect,  #  contornos Canny
  face_detect,  #  detecção facial
  texture_analysis,  #  padrões e texturas
  quality_assess,  #  nitidez, ruído, exposição
  vlm_describe,  #  IA opcional (gemma4:12b)
]

Os 7 primeiros estágios são zero AI — puro OpenCV + Tesseract + NumPy. O oitavo estágio usa o gemma4:12b rodando local no Ollama (CUDA, GPU). Zero custo de API externa.

Três endpoints REST + duas MCP tools dedicadas:

A cereja do bolo: suporte a data URI (data:image/png;base64,...). Dá pra colar um base64 direto do buffer de memória sem salvar arquivo.

Observabilidade — cada chamada rastreada

Implementei cabeçalhos X-Called-By e X-MCP-Tool injetados em toda chamada MCP. Cada requisição deixa rastro no ApiUsageLog:

class ApiUsageLog(BaseModel):
  id: int | None
  user_id: int
  endpoint: str
  method: str
  status_code: int
  response_time_ms: float
  tokens_in: int | None
  tokens_out: int | None
  called_by: str | None  #  qual agente chamou
  mcp_tool: str | None  #  qual tool MCP
  created_at: datetime

Isso permite responder perguntas como “quem está usando mais o browser?” e “qual tool está consumindo mais tokens?” — dados reais, não achismo.

Monetização — Stripe com 4 tiers

O Arachne virou produto. Quatro planos no Stripe:

Tudo integrado via Stripe Connect com webhooks de checkout.session.completed, invoice.paid e customer.subscription.updated. O rate limiting é Redis (com fallbar RAM) e 10 limiters dedicados por endpoint.

ai-jail — sandbox de segurança

Uma adição silenciosa mas crítica: integração com ai-jail v1.13.0 (bubblewrap). Todo browser/handler roda num sandbox com:

• Sistema de arquivos read-only (exceto /tmp)
• Sem acesso a GPU/Docker
• Sem rede interna
• Cache de dependências pré-montado

# ~/.ai-jail/rules.toml (global)
[mask]
files = [".env", "*.key", "secrets/"]
network = ["internal"]

O sandbox é modulável — desliga via env var ARACHNE_SANDBOX_ENABLED=false sem rebuild.

Métricas — servidor respirando

No momento em que escrevo:

O servidor aguenta bem. 6 instâncias de browser ativas, mas o pool de workers (20/40 gunicorn) dá conta do recado.

O que vem por aí

O roadmap imediato:

• Code Knowledge Graph — já implementado (KG watcher, comunidades Leiden, god nodes). Falta expor pro frontend.
• MCP Intelligence Layer — Smart Router, Tool Chainer, cache de memória entre tools
• Gravacão de vídeo nas MCP tools (arachne_record_video com Playwright screencast)
• BYO LLM no Settings — cada usuário escolhe seu modelo
• Pipeline Builder visual — arrastar e soltar stages no navegador

╔══════════════════════════════════════╗
║  Samuel Medeiros                    ║
║  Senior Software Engineer           ║
║  Stack: Python · TypeScript · Rust  ║
║  Projetos: Arachne, Dogwalk,        ║
║            Capivara, TatuEngine      ║
╚══════════════════════════════════════╝
      

O Arachne não é mais um scraper. virou um ecossistema. E ainda tem muito chão pela frente.