C:\pythonapigenaiprojeto\Nova pasta>wget --mirror ...

Infelizmente, não há uma “solução definitiva” que funcione sempre para contornar erros 403 em sites que bloqueiam ou restringem ferramentas de download como o wget. Isso acontece porque muitos sites (especialmente os que usam Cloudflare ou outros serviços de proteção) ativamente impedem esse tipo de acesso automatizado, seja por configuração de firewall, regras anti-bot, ou bloqueio de determinados cabeçalhos (user-agent) associados ao wget.

No entanto, há algumas estratégias comuns que você pode tentar – sem garantia de sucesso, pois tudo depende das regras do servidor:

---

1. Alterar o user-agent

Muitos bloqueios ocorrem porque o site detecta o user-agent padrão do wget. Tentar emular um navegador real às vezes ajuda:

bash
wget \
     --mirror \
     --convert-links \
     --adjust-extension \
     --page-requisites \
     --no-parent \
     --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/XX.X.XXXX.X Safari/537.36" \
     https://oldschool.runescape.wiki/

Você também pode tentar outros user-agents diferentes. Veja se isso por si só já contorna o 403.

---

2. Ignorar restrições de robots.txt

Mesmo que o site não tenha bloqueio de IP ou de user-agent, o wget normalmente segue as instruções em robots.txt. Se quiser ignorá-las (o que costuma ser uma prática delicada em termos de ética e termos de serviço), use:

bash
wget \
     -e robots=off \
     --mirror \
     --convert-links \
     --adjust-extension \
     --page-requisites \
     --no-parent \
     --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64)" \
     https://oldschool.runescape.wiki/

---

3. Usar cookies ou headers adicionais

Alguns sites exigem cookies ou headers específicos para liberar o acesso. Se você notar que o site precisa de autenticação ou de um cookie especial (por exemplo, Cloudflare __cfduid), é possível passá-lo ao wget:

bash
wget \
     --header "Cookie: cf_clearance=algum_valor;" \
     --header "Accept-Language: pt-BR,pt;q=0.9" \
     ...

Mas obter esses cookies normalmente exige navegar no site via um navegador real, pegar as informações e depois passá-las ao wget.

---

4. Usar ferramentas que emulem um browser de verdade (HTTrack, cURL + scripts, ou até Selenium/Puppeteer)

• HTTrack: é uma ferramenta voltada justamente para “baixar sites” e às vezes lida melhor com algumas proteções leves do que o wget.
• Selenium ou Puppeteer: permitem carregar a página de forma idêntica a um navegador (renderização JavaScript etc.). Se o bloqueio exigir carregamento real de JS, somente uma automação de navegador vai contornar.
• cURL + scripts: com cURL, às vezes você tem mais controle fino dos headers e da sequência de requests.

---

5. Verificar se há permissão legal e/ou técnica

Por fim, às vezes o site simplesmente não quer permitir espelhamento, e isso fica claro nos termos de uso, no robots.txt ou na própria configuração do servidor. Se estiver usando para fins puramente pessoais/educacionais, é bom verificar se não há violação de termos. Porém, se eles realmente bloqueiam e você não tem autorização expressa, não há muito a ser feito em termos “oficiais”.

---

Resumo

• Tente mudar o user-agent e possivelmente ignorar robots.txt.
• Se ainda ocorrer 403, veja se o site usa cookies/autenticação para acesso.
• Como último passo, pode ser necessário usar uma ferramenta mais sofisticada (ex.: HTTrack, Selenium, Puppeteer), que simule de fato um navegador.
• Mesmo assim, não há garantia de que funcione, pois o servidor pode ter bloqueios mais avançados ou simplesmente não permitir esse tipo de espelhamento.

Portanto, a “solução definitiva” não existe de forma universal; depende do quanto o site está protegendo o conteúdo e de quais mecanismos você está disposto a usar (e se é permitido).

A seguir está um guia passo a passo para tentar contornar o erro 403 Forbidden usando as três estratégias listadas (lembrando que não há garantia de sucesso caso o servidor bloqueie ativamente essas tentativas).

---

1. Alterar o User-Agent

Passo a passo

1. Abra o Prompt de Comando (Windows) ou Terminal (Linux/Mac).
   Você já deve estar com o wget instalado e configurado corretamente no sistema.

2. Verifique o user-agent atual do wget.

   • Se desejar, você pode rodar:

     bash
     wget --version

     para confirmar que o wget está instalado.
   • O user-agent padrão do wget geralmente aparece em algo como Wget/1.20.3 (linux-gnu) ou similar.

3. Escolha um user-agent de um navegador real.

   • Exemplo de user-agent do Chrome em Windows 10 (usado no exemplo):

     text
     Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 
     (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36

   • Você pode buscar “qual é meu user agent” no Google para ver o user-agent que seu próprio navegador está usando.

4. Execute o wget com o user-agent personalizado.

   • No caso do espelhamento do site, exemplo:

     bash
     wget --mirror \
          --convert-links \
          --adjust-extension \
          --page-requisites \
          --no-parent \
          --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36" \
          https://oldschool.runescape.wiki/

   • Ajuste o número da versão do Chrome caso queira algo mais atualizado ou diferente. O importante é “simular” um navegador real.

5. Teste para ver se obtém sucesso.

   • Se ainda ocorrer 403 Forbidden, tente outras estratégias.

---

2. Ignorar restrições de robots.txt

Alguns sites configuram o arquivo robots.txt para impedir indexadores (como wget) de baixar certos diretórios. Por padrão, o wget respeita as regras de robots.txt. Se o bloqueio estiver vindo dessa restrição (em vez de um bloqueio do servidor por IP/user-agent), desativar a leitura do robots.txt pode ajudar.

Passo a passo

1. Abra o Prompt de Comando (ou Terminal) novamente.

2. Use a opção -e robots=off.

   • O parâmetro -e robots=off instrui o wget a ignorar o robots.txt.

3. Combine com a troca de user-agent para aumentar a chance de sucesso.

   • Exemplo de comando:

     bash
     wget -e robots=off \
          --mirror \
          --convert-links \
          --adjust-extension \
          --page-requisites \
          --no-parent \
          --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64)" \
          https://oldschool.runescape.wiki/

4. Verifique o resultado.

   • Se continuar recebendo 403, isso significa que o servidor provavelmente não está bloqueando só via robots.txt. Pode ser um bloqueio mais avançado (Cloudflare, firewall, etc.).

5. Reflita sobre questões legais/éticas.

   • Verifique se você tem permissão para ignorar o robots.txt. Em muitos casos, as condições de uso do site podem proibir explicitamente a cópia automatizada.

---

3. Usar cookies ou headers adicionais

Alguns sites exigem autenticação ou passam por um sistema de verificação (como o Cloudflare) que pode definir cookies de sessão ou de verificação no seu navegador. Se você tenta acessar com o wget sem esses cookies, pode levar ao erro 403.

Passo a passo

1. Descubra quais cookies são necessários.

   • Abra o site no seu navegador (por exemplo, Chrome ou Firefox).
   • Abra as ferramentas de desenvolvedor (geralmente F12).
   • Vá até a aba Network (Rede).
   • Recarregue a página e clique na requisição principal do site (oldschool.runescape.wiki/).
   • Verifique os Response Headers ou Cookies armazenados pelo navegador.
   • Identifique se há um cookie como cf_clearance ou outro que pareça estar associado ao Cloudflare ou a algum sistema de proteção.

2. Copie o valor do cookie.

   • Exemplo (fictício): cf_clearance=123abcXYZ...;

3. Passe o cookie como parâmetro ao wget usando --header "Cookie: ...".

   • Exemplo:

     bash
     wget \
       --header "Cookie: cf_clearance=123abcXYZ; outra_chave=valor;" \
       --header "Accept-Language: pt-BR,pt;q=0.9" \
       --mirror \
       --convert-links \
       --adjust-extension \
       --page-requisites \
       --no-parent \
       --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64)" \
       https://oldschool.runescape.wiki/

   • Ajuste as chaves e valores conforme os que você encontrou.

4. Teste e verifique se agora o 403 desaparece.

   • Se ainda continuar recebendo 403, pode ser que o cookie expire rapidamente, que o site exija JavaScript para fazer a validação, ou que existam outros headers obrigatórios.

5. Tente adicionar outros cabeçalhos que o navegador normalmente envia.

   • Como Accept: text/html,application/xhtml+xml, ou Accept-Encoding: gzip, deflate, br, etc.
   • Em alguns casos, o servidor faz validações na lista de cabeçalhos que o cliente envia.

---

Observações finais

1. Nem sempre funciona: Muitos sites (especialmente os que usam proteções avançadas) conseguem distinguir um navegador “de verdade” de um wget ou similares.
2. HTTrack ou soluções de browser headless (como Selenium/Puppeteer) podem funcionar melhor se o site exigir JavaScript para liberar o acesso.
3. Verifique questões legais: Alguns sites proíbem explicitamente qualquer forma de scraping ou mirroring sem autorização.
4. Tente algumas vezes: Às vezes, mesmo que você consiga passar o cookie certo, a cada requisição o site gera um novo teste de verificação.

No geral, esses procedimentos cobrem as etapas mais comuns para “driblar” um bloqueio simples. Se o bloqueio for mais rigoroso, pode ser necessário partir para ferramentas de automação de navegador ou, infelizmente, não será possível fazer o download completo.