X

Массовое скачивание файлов по ссылкам — 3 способа

Необходимость скачать несколько файлов возникает по разным причинам: кто-то хочет загрузить на гаджет несколько мультиков для детей, кому-то нужно обработать большой массив данных по работе. В любом случае, нажимать на каждую ссылку по отдельности и ждать загрузки файла – не рационально. Тем более, что есть несколько способов упростить и оптимизировать эту задачу.

Выбирать тот или иной метод нужно, исходя из ваших навыков работы с кодом и умения создавать алгоритмы. В статье мы рассмотрим 3 самых популярных способа скачивания нескольких файлов по ссылкам: они подходят для тех, кто может написать скрипт самостоятельно, а также для тех, кому требуется максимально простая методика.

1 способ: пакетная загрузка через ZENNOPOSTER

ZennoPoster – это универсальное программное решение, которое часто используют в работе digital-специалисты. За считанные минуты с помощью созданных шаблонов и алгоритмов вы можете автоматизировать любое действие в браузере, в том числе и парсинг ссылок для скачивания. Главный плюс ресурса в том, что вам не нужны специальные навыки для работы – вы можете использовать готовые скрипты и шаблоны от других пользователей либо создать их самостоятельно.

Общая схема работы программы выглядит так:

  1. Утилита находит ссылку на файл.
  2. Активирует ее.
  3. Сохраняет на компьютер.
  4. Возвращается к первому пункту.

Чаще всего, если речь идет о скачивании ссылок с одного ресурса, то они имеют статический параметр (например, все начинаются с http://savok.name/uploads/music/), а имя имеет уникальное численное значение. Ниже проиллюстрирована схема проекта.

Сперва мы устанавливаем первое значение переменной, которая возрастает в последующих наименованиях ссылок. В результате скачивание идет с первого файла. Общая схема работы выглядит следующим образом:

  1. Ставим первое значение переменной.
  2. Получаем ссылки в виде переменных.
  3. Выбираем место, куда нужно сохранять файлы.
  4. Прописываем GET-запрос в виде: {-Variable.file-}{-Variable.count-}.mp3, где {-Variable.file-} — переменная, имеющая значение в статической части, {-Variable.count-} — значение счетчика, mp3 — расширение файла, которое не меняется.
  5. Приходит уведомление о скачивании файла.
  6. Значение счетчика увеличиваем на 1.
  7. Возвращаемся к первому пункту.

Каждый раз программа обращается к статической части ссылки файла, сохраняет ее, увеличивает значение имени на 1 и переходит к следующему скачиванию. Схема гибкая и подходит для большинства случаев.

2 способ: загрузка через Browser Automation Studio

BAS (Browser Automation Studio) – это один из самых популярных аналогов ZennoPoster, который практически дублирует функционал программы. Разработка создавалась частными лицами, а не большой командой, но от этого функционал не уменьшился. В рамках утилиты пользователь может создавать разные шаблоны для повторяющихся действий, даже если нужно работать на нескольких потоках (доступно до 2000).

Функционал программы включает несколько полезных вещей:

  • массовая загрузка файлов;
  • смена разрешения;
  • создание скриншотов;
  • ввод текста;
  • запуск скриптов;
  • решение капч и другое.

Как и его аналог, программа работает с кодом, создает сложные скрипты для выполнения цепочки действий. Вы можете как написать собственный шаблон, так и приобрести готовые варианты от других пользователей, которые размещены в магазине приложений. Стоимость скрипта для BAS на данный момент от 1000 рублей.

3 способ: скачивание по подготовленному списку с утилитой WGET

Этот способ подходит для тех, кто собрал предварительно перечень всех ссылок с помощью парсера или вручную, но сразу скачать не получилось их по какой-либо причине. Загрузку нескольких файлов производят с помощью утилиты WGET, которая когда-то принадлежала полностью Linux, а сейчас распространяется как свободная программа в интернете.

  1. Для начала подготовьте список в следующем формате:

https://site.com/files/file_image_1.jpg

https://site.com/files/file_image_2.jpg

https://site.com/files/file_image_3.jpg и так далее.

  1. Сохраните перечень ссылок в текстовом файле.
  2. Скачиваем утилиту WGET, распаковываем архив. Она не имеет графического интерфейса, поэтому предварительно нужно прописать в свойствах системы путь к папке, чтобы запустить ее из командной строки.

 

  1. Правой кнопкой мыши нажимаем «Мой компьютер» — «Свойства ПК» — «Свойства системы» — «Дополнительные параметры системы» — «Переменные среды» — «Дополнительные параметры системы».
  2. В окне выбираем переменную Path и нажимаем команду «Изменить».
  3. Создаем новое значение с путем к папке c:wget. Сохраняем.

       

 

Когда мы сделали основные пункты, то открываем консоль командой Win + R, вводим cmd и нажимаем enter.

Прописываем команду:

wget -i c:url-list.txt —secure-protocol=auto -nc -c -P c:files

Остановимся на разборе команды:

  • -i — это путь для файла со списком URL для скачивания;
  • -secure-protocol=auto — применяем, если на сайте защищенный протокол HTTPS, если же он простой, то эту часть не пишите;
  • -nc – проверка на наличие такого файла: если он уже есть в системе, то загрузка его пропустит;
  • -c – в случае неполной закачки, она продолжится;
  • -P — путь, куда сохраняют данные.

Можно дополнительно добавить команду -x , если важно сохранить структуру как в источнике. Когда команда готова, то остается нажать enter и загрузка пойдет в указанную папку. На экране отображается только ЛОГ операции.

Вывод

На просторах Интернета вы дополнительно можете найти готовые парсеры и приложения, которые предлагают аналогичные услуги для скачивания файлов потоком. Однако большинство из них требуют знания кода и умения составлять скрипты. Хорошая новость в том, что шаблонами могут поделиться опытные пользователи на форумах.

Рациональнее использовать такие конструкторы как ZennoPoster или BAS, а также поработать с парсером и утилитой WGET. Они более понятны для пользователя и в большинстве случаев не требуют навыков кодирования.

А вы пользуетесь сервисами за массовой закачки файлов?
0 голосов

Да
Нет

 

Источник

Related Post