Что такое wget?

Wget -- это программа для "вытягивания" файлов из Internet при помощи протоколов HTTP или FTP.

Основные достоинства Wget:

* Wget -- неинтерактивная программа, что позволяет запускать ее в фоновом режиме или при помощи at.
* Wget может выкачивать файлы "рекурсивно", т.е. автоматически следовать по "ссылкам". Это позволяет, например, скачивать web-страницы вместе с имеющимися в них картинками, или выкачивать по FTP целые директории вместе с содержимым (включая поддиректории).
* Wget умеет "докачивать" файлы после обрыва соединений, что особо ценно при медленной или нестабильной связи (хорошим примером которой является ситуация в Академгородке в настоящий момент).

Wget выдает список всех опций при вызове с ключом "--help", причем поскольку выдача довольно длинная, лучше пользоваться командой



Для того, чтобы узнать все возможности Wget, следует заглянуть в info-документацию по нему.



Поскольку у wget есть огромное количество ключей, модифицирующих его поведение, мы рассмотрим на примерах несколько наиболее часто используемых случаев.

Простое скачивание файла

В самом простом случае программе указывается один параметр URL -- ссылка на файл, который надо получить:



При скачивании каждого килобайта отображается один символ ".".

Можно указать подряд несколько URL -- в этом случае файлы будут скачаны один за другим.

Скачивание при плохой связи

Для того, чтобы wget повторял попытки взять файл до тех пор, пока не скачает его целиком, надо указывать ключи "-c" и "-t 0". Первый означает "продолжать качать с того места, где соединение оборвалось" (continue), а второй позволяет указать число попыток, 0 -- бесконечно.

Например, чтобы скачать исходные тексты проигрывателя .mp3-файлов X11Amp, можно воспользоваться командой



Реально ключи "-c -t 0" стоит указывать практически всегда, кроме как разве что в локальной сети.

Шаблоны

При перекачке по FTP можно в именах файлов указывать шаблоны (естественно, "закавычивая" их). Например, команда



скачает все обновления к системе XFree86.

Рекурсивное скачивание

Для рекурсивного скачивания используются ключи "-r", "-l" и "-np". Ключ "-r" (recursive) включает рекурсивность. Ключ "-l" (level) позволяет указать насколько "глубоко" программа должна следовать по ссылкам; 0 -- бесконечно глубоко, по умолчанию установлено 5. И, наконец, ключ "-np" (no parent) запрещает следовать ссылкам выше указанной директории.

При рекурсивном скачивании wget автоматически создает соответствующее дерево директорий.

К примеру, следующая команда могла бы использоваться для скачивания целого домашнего сайта (адрес вымышленный):



При этом файлы будут помещаться в директорию ./www.h-hosts.com/users/goofy/.

Замечание

Wget, будучи культурной программой, при рекуррентном скачивании уважает т.н. "Протокол Web-роботов", и может пропускать часть файлов (запрещенных в файле robots.txt на сервере). Чтобы отключить эту "культурность", можно воспользоваться ключом "-e robots=off".

Почитать про Протокол Web-роботов можно в info-документации по Wget, воспользовавшись командой



или по адресу



Фоновый режим

При указании ключа "-b" (background) программа сразу переходит в фоновый режим, так что пользователь может заниматься другими делами или даже выйти из системы -- wget будет продолжать свою работу.

При сообщения, которые выдавались бы на экран, будут идти в файл wget.log (а если он уже есть, то в wget.log.1, wget.log.2 и т.д.).

Пример:



Для просмотра log-файла по мере скачивания удобно пользоваться командой "tail -f":



Использование прокси-серверов

Wget умеет пользоваться прокси-серверами как для HTTP, так и для FTP. Достаточно перед вызовом программы присвоить адрес прокси-сервера переменным окружения http_proxy или ftp_proxy соответственно (имена маленькими буквами!).

Wget понимает как "официальное" указание адреса, так и сокращенное. Поэтому команды



и



эквивалентны.

Скачивание "через перевалочную базу"

Современные академгородковские реалии таковы, что зачастую скачать файл с некоего зарубежного сервера напрямую не удается из-за плохой связи. При этом иногда не помогает даже способность Wget к докачке.

Можно обойти эту проблему, если есть доступ (по telnet, rlogin или ssh) к unix-эккаунту где-нибудь за рубежом, где связь намного лучше.

При этом выполняются следующие действия:

1. При помощи Wget файл скачивается на зарубежную машину. Естественно, Wget на ней должен быть установлен. Если нет, то не является проблемой скомпилировать его из исходных текстов.
2. Там его стоит упаковать, если это еще не сделано (а .html-файлы пакуются очень хорошо), и, возможно, разбить на несколько более мелких файлов про помощи программы split.
3. Затем такой упакованный и/или разбитый файл скачивается с зарубежной машины к себе при помощи Wget по FTP или HTTP.

Такой подход дает большую гибкость по сравнению с прямой перекачкой, а уменьшение размера кусочков, на которые разбивается файл, иногда позволяет достичь необходимой надежности.


Предупреждение
Пользоваться таким приемом можно только в том случае, если это не нарушает политики, принятой в тех учреждениях, которых это касается.

Спасибо давно искал ман на русском языке!

Основной принцип - делать одну вещь, но хорошо (http://ru.wikipedia.o...илософия_UNIX)
Оболочки для него:
KGet (часть KDE)
Gwget (часть GNOME)
aria2 — для командной строки, поддерживает HTTP, FTP, BitTorrent, и файлы Metalink 3.0.
D4X (Downloader for X)
Во многих дистрах по-умолчанию в установке - обновлении стоит curl , однозначно поменять на wget .