Get URL List - менеджер закачек новостей,прайс-листов и серийных ресурсов

Не у всех есть выделенная линия к Интернет. И не все имеют тарифный план Unlimited, позволяющий часами сидеть в Инете и не спеша почитывать новости. Тем не менее практически все пользователи Сети регулярно посещают новостные сайты или страницы новостей в различных порталах.

Обычно, чтобы добраться до всех страниц с новостями, надо:

1. войти на главную страничку сайта
2. найти ссылку на последние новости
3. прочитать (скопировать для последующего чтения в офф-лайне, для чего выбрать локальный каталог на диске, выбрать имя для файла, в MS Explorer еще надо задать формат-сохранять ли весь файл (с изображениями), или только html..., бла-бла-бла)
4. повторить пункты 1-3 для всех остальных сайтов, которые нас интересуют.

Многим приходится по нескольку раз в день скачивать файлы с прайс-листами, ожидая увидеть обновления. И часто убеждаться, что загрузка была не нужна - скачался тот же, необновленный файл.

Закачка многотомных архивов и других (file.part001.rar, file.part002.rar, ...) "серийных" ресурсов требует терпения и сноровки. Хорошо бы было сказать - "хочу скачать rar-файлы с 1-го по 50-ый..." - и пошел процесс.

Иногда нужно выкачивать книги, документацию и прочие материалы, организованные как группа html-страниц: одна, основная, в качестве "оглавления", и остальные - как главы, на которые ведут ссылки с основной страницы. Такую страницу можно скачать с помощью многих программ - например, Reget имеет команду "закачать все при помощи Reget". Однако в результате сохранения файлов в один каталог ссылки с основной страницы часто становятся "инвалидными", и приходится исправлять их, чтобы сделать возможными переходы между сохраненными страницами.

Если нужно скачать очень большой файл, скорости одного модема для этого не хватит. Но у Вас есть много друзей с выходом в Интернет, и можно было бы распределить закачку между ними, чтобы потом соединить все части в исходный файл.

Во многих домах и общежитиях сейчас есть локальные сети (с выходом в интернет или без него), и их члены копируют из "общих" папок соседних компьютеров большие файлы (MP3, DivX/Mpeg4, и т.д.), однако из-за загруженности сети это часто не удается сделать за то время, что компьютер доступен в сети. Владелец выключает его, копирование обрывается. Завтра надо начинать заново. К тому же хозяину ресурса редко нравится, если файлы с его компьютера качают на максимальной скорости, затормаживая его работу. Поэтому была бы полезной возможность задать ограничение скорости копирования.

Get URL List Downloader (GUL) позволяет "немного" облегчить решение перечисленных задач и будет полезна как тем, кто выходит в интернет по модему, так и владельцам выделенных каналов.

Возможности программы GUL 3.0

• Закачка ресурсов с элементами даты в адресе. Такие ресурсы могут запрашиваться как за текущую дату, так и за нужное число дней назад/вперед (получение "вчерашних" новостей)
• Закачка серийных ресурсов (с нарастающим номером). "Номер" в них может быть представлен не только десятичными цифрами, но и 16-ичными, а также просто буквой лат.алфавита (например, file-A.zip, file-B.zip, ... file-Z.zip)
• Загрузка только в случае обновления файлов на сайте (с изменившимся размером и/или датой создания)
• Поддержка "http://", "ftp://" и "file://" типов ссылок (file:// - для загрузки файлов из локальной NETBIOS - сети)
• Докачка ресурсов, включая файлы в локальной NetBIOS-сети. Возможность выкачивать из локальной сети целые папки
• Планировщик: старт заданий по расписанию с настройкой времени старта и остановки (работа в дешевое ночное время)
• Настраиваемый режим загрузки HTML-страниц: только сама страница, либо со встроенными объектами (фреймы, файлы CSS-стилей, графика, модули JavaScript, апплеты Java, ролики Macromedia Flash, аудио- и видео-файлы - загрузка включается индивидуально для каждого типа файлов)
• DOC-режим : основная страница считается "оглавлением", и вместе с ней закачиваются документы, на которые с нее есть ссылки (файлы - "главы"). Глубину "вложенности" ссылок можно регулировать. При этом перекрестные ссылки между страницами по возможности преобразуются, для сохранения "ссылочной целостности"
• Распределенная загрузка больших файлов (имея несколько друзей с модемами и выходом в интернет, распределяем загрузку между ними)
• Возможность создания "распределенной сети" GUL-серверов, обмен "заданиями" между ними по обычной электронной почте
• Запуск внешней программы после закачки каждого ресурса
• публикация загруженных файлов на FTP-сервер
• Поддержка неограниченного числа списков закачек, легкий перенос закачек между списками
• Мульти-язычный интерфейс, с возможностью самостоятельного добавления новых языков
• Многопоточная загрузка
• механизмы пост-обработки закачанных HTML и TXT-файлов - поиск строк с заменой или вырезанием (удаление банеров, смена дизайна, выделение только нужной информации) - поиск-замена, BanneRipper (вырезание стандартных рекламных блоков), SiteRipper (вырезание ненужных HTML-блоков, присутствующих на всех страницах данного сайта)
• Так как механизм поиска и замены строк может быть вручную применен к любой папке, программой можно пользоваться просто для групповой замены (или удаления) однотипных конструкций в собственных наборах файлов - например, если нужно сменить дизайн во всех своих HTML-страничках.

CopyRight © AS-Works, 1998-2005