Wget


 * fetch
 * httrack

Установка
Конфигурация по умолчанию make -C /usr/ports/ftp/wget install clean

Скачивание по списку урлов из файла wget -i temp.html

Скачивание
Рекурсивно весь сайт. Если написать вот так, то скачает весь сайт, начиная с корня, не взирая на то что указана явно директория. (Изучать раздел Recursive Retrieval Options). Есть опция для исключения заданных директорий --cut-dirs=number wget -vr http://www.balboa.ru/music/

Скачать все файлы
wget -vr -H http://www.amelito.com/aal/

Позволяет скачать файлы, лежащие не по ссылке а на dropbox, но потом зачем-то начинает ходить по домена и собирать robots.txt

Скачать картинки с одной страницы. Так и не получилось. Скачивал все и потом выбирал с помощью find wget -r --level=2 http://www.egc2013.eu/photos/

Referer
Если файл не может быть напрямую скачан, можно указать ссылку откуда к нему разрешили обращаться из браузера: wget --referer=http://www.photographyblog.com/reviews/panasonic_lumix_dmc_fx550_review/sample_images/ http://img.photographyblog.com/reviews/panasonic_lumix_dmc_fx550/sample_images/panasonic_lumix_dmc_fx550_01.jpg

Cookie
wget -np -r -l0 -np -k http://wiki.host.ru

Только надо сделать исключение для Special:RecentChanges

--load-cookies cookiesfile.txt

С третьей версии в firefox лежат в базе

sqlite3 -separator ' ' ~/cookies.sqlite 'select * from moz_cookies' > cookies.txt

Путь ~/.mozilla/firefox/5uuff19j.default/cookies.sqlite

Можно расширением воспользоваться https://addons.mozilla.org/en-US/firefox/addon/export-cookies/


 * http://www.linuxquestions.org/questions/linux-software-2/using-the-cookies-sqlite-from-firefox-3-in-wget-653227/
 * http://aarhipov.livejournal.com/30489.html

пробую (авторизацию и куки опускаю, не суть): wget -q --keep-session-cookies --load-cookies=./.cookies "http://dl.rutracker.org/forum/dl.php?t=2418621" --referer="http://rutracker.org/forum/viewtopic.php?t=2418621" --post-data="http://dl.rutracker.org/forum/dl.php?t=2418621" -O

wget --keep-session-cookies --load-cookies=./.cookies "http://dl.rutracker.org/forum/dl.php?t=2418621" --referer="http://rutracker.org/forum/viewtopic.php?t=2418621" --post-data="t=2418621" --header="Content-Type: application/x-www-form-urlencoded" -O - приносит мне вместо торрента всю страницу форума

Если в теле передавать t=... и определить Content-Type, равный "application/x-www-form-urlencoded"