Como usar cursor para automacao em web-scraping

Crie um sistema de web scraping robusto para extrair dados de [SITES] com as seguintes especificações:

**Objetivos:**
- Sites alvo: [SITES]
- Dados a extrair: [DADOS]
- Frequência: [FREQUÊNCIA]
- Volume esperado: [VOLUME]

**Requisitos Técnicos:**

1. **Arquitetura Robusta**
   - Linguagem: [LINGUAGEM]
   - Bibliotecas: requests/selenium/scrapy
   - Banco de dados para armazenar
   - Sistema de filas (se necessário)

2. **Features Essenciais**
   - Rotação de proxies/user agents
   - Rate limiting inteligente
   - Tratamento de captcha
   - Retry automático com backoff

3. **Tratamento de Anti-bot**
   - Headers realistas
   - Delays randomizados
   - Simulação de comportamento humano
   - Bypass de detecção comum

4. **Monitoramento**
   - Logs estruturados
   - Alertas de falha
   - Métricas de performance
   - Dashboard de status

5. **Output e Processamento**
   - Validação de dados
   - Limpeza e formatação
   - Export em múltiplos formatos
   - API para acesso aos dados

**Entregáveis:**
1. Código completo documentado
2. Dockerfile para deploy
3. Configuração de monitoramento
4. README com instruções
5. Testes automatizados

Implemente seguindo melhores práticas e considerações legais.