Массовое скачивание файлов по ссылкам — 3 способа
Необходимость скачать несколько файлов возникает по разным причинам: кто-то хочет загрузить на гаджет несколько мультиков для детей, кому-то нужно обработать большой массив данных по работе. В любом случае, нажимать на каждую ссылку по отдельности и ждать загрузки файла – не рационально. Тем более, что есть несколько способов упростить и оптимизировать эту задачу.
Выбирать тот или иной метод нужно, исходя из ваших навыков работы с кодом и умения создавать алгоритмы. В статье мы рассмотрим 3 самых популярных способа скачивания нескольких файлов по ссылкам: они подходят для тех, кто может написать скрипт самостоятельно, а также для тех, кому требуется максимально простая методика.
1 способ: пакетная загрузка через ZENNOPOSTER
ZennoPoster – это универсальное программное решение, которое часто используют в работе digital-специалисты. За считанные минуты с помощью созданных шаблонов и алгоритмов вы можете автоматизировать любое действие в браузере, в том числе и парсинг ссылок для скачивания. Главный плюс ресурса в том, что вам не нужны специальные навыки для работы – вы можете использовать готовые скрипты и шаблоны от других пользователей либо создать их самостоятельно.
Общая схема работы программы выглядит так:
- Утилита находит ссылку на файл.
- Активирует ее.
- Сохраняет на компьютер.
- Возвращается к первому пункту.
Чаще всего, если речь идет о скачивании ссылок с одного ресурса, то они имеют статический параметр (например, все начинаются с http://savok.name/uploads/music/), а имя имеет уникальное численное значение. Ниже проиллюстрирована схема проекта.
Сперва мы устанавливаем первое значение переменной, которая возрастает в последующих наименованиях ссылок. В результате скачивание идет с первого файла. Общая схема работы выглядит следующим образом:
- Ставим первое значение переменной.
- Получаем ссылки в виде переменных.
- Выбираем место, куда нужно сохранять файлы.
- Прописываем GET-запрос в виде: {-Variable.file-}{-Variable.count-}.mp3, где {-Variable.file-} — переменная, имеющая значение в статической части, {-Variable.count-} — значение счетчика, mp3 — расширение файла, которое не меняется.
- Приходит уведомление о скачивании файла.
- Значение счетчика увеличиваем на 1.
- Возвращаемся к первому пункту.
Каждый раз программа обращается к статической части ссылки файла, сохраняет ее, увеличивает значение имени на 1 и переходит к следующему скачиванию. Схема гибкая и подходит для большинства случаев.
2 способ: загрузка через Browser Automation Studio
BAS (Browser Automation Studio) – это один из самых популярных аналогов ZennoPoster, который практически дублирует функционал программы. Разработка создавалась частными лицами, а не большой командой, но от этого функционал не уменьшился. В рамках утилиты пользователь может создавать разные шаблоны для повторяющихся действий, даже если нужно работать на нескольких потоках (доступно до 2000).
Функционал программы включает несколько полезных вещей:
- массовая загрузка файлов;
- смена разрешения;
- создание скриншотов;
- ввод текста;
- запуск скриптов;
- решение капч и другое.
Как и его аналог, программа работает с кодом, создает сложные скрипты для выполнения цепочки действий. Вы можете как написать собственный шаблон, так и приобрести готовые варианты от других пользователей, которые размещены в магазине приложений. Стоимость скрипта для BAS на данный момент от 1000 рублей.
3 способ: скачивание по подготовленному списку с утилитой WGET
Этот способ подходит для тех, кто собрал предварительно перечень всех ссылок с помощью парсера или вручную, но сразу скачать не получилось их по какой-либо причине. Загрузку нескольких файлов производят с помощью утилиты WGET, которая когда-то принадлежала полностью Linux, а сейчас распространяется как свободная программа в интернете.
- Для начала подготовьте список в следующем формате:
https://site.com/files/file_image_1.jpg
https://site.com/files/file_image_2.jpg
https://site.com/files/file_image_3.jpg и так далее.
- Сохраните перечень ссылок в текстовом файле.
- Скачиваем утилиту WGET, распаковываем архив. Она не имеет графического интерфейса, поэтому предварительно нужно прописать в свойствах системы путь к папке, чтобы запустить ее из командной строки.
- Правой кнопкой мыши нажимаем «Мой компьютер» — «Свойства ПК» — «Свойства системы» — «Дополнительные параметры системы» — «Переменные среды» — «Дополнительные параметры системы».
- В окне выбираем переменную Path и нажимаем команду «Изменить».
- Создаем новое значение с путем к папке c:wget. Сохраняем.
Когда мы сделали основные пункты, то открываем консоль командой Win + R, вводим cmd и нажимаем enter.
Прописываем команду:
wget -i c:url-list.txt —secure-protocol=auto -nc -c -P c:files
Остановимся на разборе команды:
- -i — это путь для файла со списком URL для скачивания;
- -secure-protocol=auto — применяем, если на сайте защищенный протокол HTTPS, если же он простой, то эту часть не пишите;
- -nc – проверка на наличие такого файла: если он уже есть в системе, то загрузка его пропустит;
- -c – в случае неполной закачки, она продолжится;
- -P — путь, куда сохраняют данные.
Можно дополнительно добавить команду -x , если важно сохранить структуру как в источнике. Когда команда готова, то остается нажать enter и загрузка пойдет в указанную папку. На экране отображается только ЛОГ операции.
Вывод
На просторах Интернета вы дополнительно можете найти готовые парсеры и приложения, которые предлагают аналогичные услуги для скачивания файлов потоком. Однако большинство из них требуют знания кода и умения составлять скрипты. Хорошая новость в том, что шаблонами могут поделиться опытные пользователи на форумах.
Рациональнее использовать такие конструкторы как ZennoPoster или BAS, а также поработать с парсером и утилитой WGET. Они более понятны для пользователя и в большинстве случаев не требуют навыков кодирования.
А вы пользуетесь сервисами за массовой закачки файлов?
0 голосов
Да
Нет
