Como efectuar download de um site com wget (linux)

02/09/2013

em Como Fazer,Linha de comando,Truques e Dicas

Para efectuar o download de um site com o comando wget (linux), verifique se possui o pacote “wget” instalado na sua distribuição e proceda da seguinte forma;

(criar uma directoria para colocar o site)

# mkdir website
# cd website/

Escreva o seguinte comando, substituindo o “o-site-aqui.com” pelo domínio do site que pretende efectuar o download;

# wget --limit-rate=200k --no-clobber --convert-links --random-wait -r -p -E -e robots=off -U mozilla http://www.o-site-aqui.com

Aguarde enquanto efectua o download do site o-site-aqui.com e o mesmo será guardado na subdirectoria www.o-site-aqui.com

Agora, o que significam as opções em cima do comando wget;
–limit-rate=200k: Limita o download a 200 Kb /sec
–no-clobber: opção para não re-escrever ficheiors que já existam
–convert-links: converter atalhos para que possa ter o site no seu computador em vez de os chamar no site online
–random-wait: Espaços de espera esporádicos entre download de ficheiros, de forma a evitar alguns mecanismos para impossibilitar o download do site
-r: Recursive: efectua o download de todo o site e ficheiros recursivamente
-p: efectua o download de tudo, incluindo imagens
-E: possibilita a obtenção da extensão dos ficheiros que não tenham
-e robots=off: faz com que o funcionamento do wget não seja semelhante a um “robot/spider”
-U mozilla: simula como se fosse um navegador (Mozilla) que está a ver a página em vez de ser identificado como o comando wget

para mais opções do comando wget;

# man wget

NOTA: Tenha em atenção que este tipo de download não efectuará devidamente o download de sites com programação embutida, como php, asp, etc… Ter em consideração também os aspectos legais, como direitos de autor e outros.

 

Artigo anterior:

Próximo artigo: