********************************************
Using wget to download/scrape an entire site
********************************************

Resources: [ Ссылка ]

Example 1: Basic Example
wget [ Ссылка ]

Example 2: Basic Template

wget \
--recursive \
--no-clobber \
--page-requisites \
--html-extension \
--convert-links \
--restrict-file-names=unix \
--domains docs.scrapy.org \
--no-parent \
[ Ссылка ]


Example 3: More Advanced Template
wget \
--recursive \
--no-clobber \
--page-requisites \
--html-extension \
--convert-links \
--restrict-file-names=unix \
--domains docs.scrapy.org \
--wait=5 \
--limit-rate=20K \
--user-agent=Mozilla \
--level=10 \
--output-file /home/melvin/test/activity.txt \
--no-parent \
[ Ссылка ] &


Other options
--random-wait

свернуть