Wget - це утиліта командного рядка, яка може використовуватися для завантаження майже всього, що є в Інтернеті. Уловлює, що він повинен бути доступним через протоколи HTTP, HTTPS або FTP; інакше Wget не зможе завантажити його. Існує декілька способів використання Wget, наприклад, ви можете використовувати Wget, щоб завантажити кожне зображення на веб-сайті, або ви також можете завантажити один файл. Wget навіть здатний відновити завантаження, коли це можливо. Отже, якщо вам цікаво, як працює Wget, і що він може зробити для вас, ось як використовувати Wget :
Встановлення Wget
1. Встановлення Wget на macOS Sierra
Перш ніж розпочати роботу з Wget, нам потрібно його встановити в нашій системі. Тепер, на щастя, більшість дистрибутивів Linux поставляється з попередньо встановленою Wget, тому вам не доведеться робити ніяких додаткових робіт. Однак, якщо ви перебуваєте на комп'ютері Mac, вам доведеться встановити Wget. Це можна зробити легко за допомогою Homebrew (завантаження). Якщо вам потрібна допомога, спробуйте виконати такі дії.
- По-перше, вам доведеться встановити Homebrew на ваш Mac, щоб мати можливість завантажувати Wget. Для цього просто запустіть термінал і введіть таку команду:
/ usr / bin / ruby -e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"
- Після завершення виконання команди Homebrew буде встановлено у вашій системі. Тепер можна використовувати Homebrew для встановлення пакетів, таких як Wget. У терміналі просто виконайте таку команду:
заварити встановити wget
- Homebrew автоматично почне завантаження, розпакування та встановлення Wget у вашій системі. Цей крок може зайняти деякий час, залежно від швидкості мережі, тому будьте терплячими. Після завершення команди ви зможете використовувати Wget на вашому Mac. Щоб перевірити, чи було встановлено, просто скористайтеся командою:
wget -V
2. Встановлення Wget на Windows
Встановлення Wget на Windows потребує трохи більше зусиль, але це легко зробити. Якщо ви хочете встановити Wget на ПК з Windows, виконайте наведені нижче дії.
- Спочатку завантажте Cygwin, а потім запустіть завантажений файл установки .
- Коли він запитує джерело завантаження за замовчуванням, виберіть опцію, яка говорить " Встановити з Інтернету ", і натисніть кнопку "Далі".
- Виберіть інсталяційний каталог для Cygwin, а також каталог, де він буде зберігати пакувальні файли для встановлення утиліт.
- На наступному екрані потрібно вибрати підключення до Інтернету. Якщо ви використовуєте проксі-сервер, виберіть тип проксі-сервера і заповніть його. Для більшості користувачів, вибір був би " Пряме з'єднання ".
- Після цього відобразиться список дзеркал, виберіть будь-який з них, щоб завантажити Cygwin. Якщо завантаження не вдалося, можна спробувати знову з іншим дзеркалом.
- У наступному вікні знайдіть "wget" і клацніть на плюсі поряд з "web" у списку, що з'являється. Тут буде встановлено прапорець поруч із пунктом " wget ". Просто натисніть кнопку "Далі".
- Наступний екран покаже вам пакунки, які потрібно завантажити. Просто натисніть кнопку "Далі".
- Після завершення установки вам буде запропоновано створити піктограму на робочому столі та / або додати запис до початкового меню . Це цілком залежить від особистих уподобань, але я пропоную вам принаймні додати його до стартового меню, щоб легко знайти його.
Це воно. Wget тепер встановлено на комп'ютері з ОС Windows. Однак ви не зможете запустити його з командного рядка. Замість цього вам доведеться запустити термінал Cygwin і використовувати Wget звідти .
Як використовувати Wget
Тепер, коли ми отримали Wget і працювали в нашій системі, давайте розглянемо всі цікаві способи, за допомогою яких ми можемо використовувати Wget для завантаження файлів, папок і навіть цілих веб-сайтів з Інтернету. Ось кілька цікавих речей, які ви можете зробити з Wget у вашій системі.
Примітка : я використовую Wget на MacBook Air під керуванням MacOS Sierra 10.12.3 beta. Однак, оскільки утиліта, яку ми використовуємо, однакова (Wget), команди будуть однаковими на будь-якій операційній системі, на якій ви можете використовувати Wget.
1. Використовуйте Wget для завантаження файлів
Ви можете використовувати Wget для завантаження файлів з Інтернету з легкістю. Просто використовуйте наступну команду
wget
- Завантажте файл і збережіть його з певним ім'ям файлу
Файли на серверах іноді мають найдивніші імена, і ви можете завантажити файл, і Wget автоматично перейменувати його в те, що має більше сенсу для вас. Для цього використовуйте наступну команду
wget -o
- Завантажити лише певні типи файлів
Веб-сервер може розміщувати декілька різних файлів. Отже, що, якщо ви хочете завантажити всі PDF-файли на сервері, або, можливо, всі GIF-файли? Просто скористайтеся наступною командою:
wget -r -A pdf
Ця команда була використана Марком Цукербергом у своїй кімнаті в Гарвардському гуртожитку, щоб завантажити всі зображення лише однією командою і побудувати сумнозвісний веб-сайт «facesmash.com».
wget -r -A jpg, jpeg, png, bmp
2. Завантажте файли з декількох URL-адрес з Wget
Скажімо, вам потрібно завантажити файли з різних місць в Інтернеті. Може бути PDF-файл на url1, важливий ZIP-файл на url2, і ще щось у url3 . Якщо ви використовували Wget традиційним способом, ви повинні запустити його тричі. Проте для цього є набагато простіший спосіб.
- Спочатку створіть файл з усіма URL, з яких потрібно завантажити дані. Переконайтеся, що ви зберігаєте кожну URL-адресу в окремому рядку . Збережіть файл і переконайтеся, що ви пам'ятаєте ім'я.
- У терміналі використовуйте таку команду для завантаження файлів з усіх URL-адрес:
wget -i
де " ім'я_файла " - це ім'я файлу, створеного вами, з усіма URL-адресами, з яких потрібно завантажити матеріал.
3. Завантажити весь сайт з Wget
Так, ви читаєте це право. Ви також можете використовувати Wget для завантаження вмісту всього веб-сайту. Очевидно, якщо веб-сайт занадто великий, ця команда займе багато часу, щоб закінчити, не кажучи вже про те, що вона з'їсть багато місця у вашій системі. Якщо ви хочете використовувати Wget для завантаження всього веб-сайту, просто скористайтеся наступною командою:
wget --mirror -p -P ./LOCAL-DIR WEBSITE-URL
Це дозволить завантажити весь сайт, в папку " LOCAL-DIR " у вашому робочому каталозі. Файли веб-сайту будуть зберігатися в папці з тим же ім'ям, що й веб-сайт, завдяки " WEBSITE-URL ".
4. Використовуйте Wget як веб-павука
Ви також можете зробити Wget, як веб-сканер (або веб-павук). Це корисно, коли потрібно підтвердити, що URL-адреса файлу, який потрібно завантажити, дійсна . Щоб використовувати Wget як веб-павука, і перевірити правильність URL-адрес, використовуйте таку команду:
wget - spider
Це перевірить, чи існує вказана URL-адреса, і ви отримаєте відповідь, що повідомлятиме вам про результати перевірки.
- Позитивний відповідь:
- Мінус-відповідь:
5. Продовжити неповні завантаження
Це ще одна цікава річ, яку Wget може зробити. Скажімо, ви завантажували файл з Wget, але з якоїсь причини ви повинні були закрити свій ноутбук. Наступного разу, коли ви захочете спробувати завантажити той самий файл, Wget дійсно може продовжити завантаження . Необхідно просто переконатися, що ви знаходитесь в тій самій папці, в якій завантажили файл останній раз, а потім скористайтеся наступною командою:
wget -c
Коли Wget побачить, що частина файлу вже є у вашій системі, вона автоматично продовжить завантаження.
Примітка : Якщо файл на сервері був змінений з часу останнього спроби його завантаження, тоді ви не повинні використовувати цю команду, оскільки це призведе до пошкодження файлу, який ви не зможете прочитати.
Крім того, якщо сервер не дозволяє продовжувати завантаження, Wget відмовиться почати завантаження з нуля. Якщо ви хочете почати завантаження з нуля, вам доведеться видалити частково завантажений файл з вашої системи .
Є ще кілька умов для використання цього аргументу, і ви можете дізнатися більше про нього на сторінці Wget man.
6. Обмежте швидкість завантаження
Якщо ви використовуєте Wget для завантаження файлів і перегляду Інтернету разом з ним, ви, ймовірно, не хочете, щоб вся ваша пропускна здатність була використана Wget. На щастя, Wget містить аргумент, який можна використовувати для обмеження пропускної здатності, яку Wget може використовувати для завантаження файлів у вашій системі:
wget - гранична швидкість =
Примітка : Майте на увазі, що швидкість згадується в байтах, а не в бітах. Отже, якщо ви використовуєте Wget - граничну частоту = 20k, це обмежить використання смуги пропускання до 20 kB, а не 20 kb.
7. Використовуйте Wget для завантаження файлів з FTP-серверів
Якщо вам потрібно завантажити файл з FTP-сервера, ви можете зробити це з Wget. Для завантаження файлів з FTP-серверів використовуйте наступну команду:
wget
- Завантажте файли з FTP-серверів за допомогою Login
Якщо ваш FTP сервер вимагає входу, щоб дозволити завантаження файлів, ви можете просто передати облікові дані з Wget, а також. Просто використовуйте таку команду:
wget --ftp-username = USERNAME --ftp-password = ПАРОЛЬ
Легко використовувати Wget для завантаження файлів з Інтернету
Ви можете використовувати Wget для завантаження файлів з будь-якої точки Інтернету. Однак, хоча Wget майже завжди працює, існують певні сервери, які запобігають доступу до Wget, у цьому випадку ви можете спробувати змінити –user-agent для вашої команди Wget. Однак, це не рекомендований курс дій, якщо ви абсолютно не знаєте, що ви робите. Здебільшого, Wget дозволить вам завантажувати будь-який файл з Інтернету, якщо у вас є доступ до нього, і його URL.
Отже, ви коли-небудь використовували Wget для завантаження файлів з Інтернету? Повідомте нам про свій досвід використання Wget для завантаження файлів через протоколи HTTP, HTTPS та FTP. Також, якщо ви знаєте про деякі інші види використання Wget, які, на Вашу думку, заслуговують бути в цьому списку, повідомте нам про них у розділі коментарів нижче.
