Введение
Функции Граббера сайтов IDM не ограничиваются только загрузкой требуемых файлов, отобранных с помощью фильтров, как, например, все картинки или все аудио-файлы с веб-сайта, но и позволяют Вам загружать веб-сайты дочерних уровней или же загружать сайты полностью, с возможностью последующего создания зеркал или автономного просмотра.
Граббер сайтов имеет ряд встроенных проектных шаблонов, которые облегчат настройку Граббера на необходимый тип проекта.
Сам Граббер состоит из четырехступенчатого мастера, указывающего, какие файлы и откуда необходимо загрузить. Граббер имеет гибкий набор фильтров как для просмотра веб-страниц, так и для отбираемых под загрузку файлов. После создания проекта Граббер приступает к анализу файлов.
Основное окно Граббера
Позже Вы сможете отметить необходимые файлы и, нажав кнопку загрузки на панели инструментов, загрузить их средствами Граббера, или же Вы можете добавить отмеченные файлы к основному списку загрузки программы Internet Download Manager. В любой момент Вы можете вернуться к любому этапу работы мастера для изменения настроек, например, путей сохранения файлов или настрйки фильтра, а затем, перейти к последнему этапу и возобновить анализ сайта или загрузку файлов.
Также, возможна автоматическая загрузка всех отобранных файлов. После закрытия Граббера, Internet Download Manager спросит о необходимости сохранения проекта. Сохраненный проект добавляется в список сохраненных проектов в раздел "Проекты Граббера" дерева категорий основного окна IDM.
Открытие проекта Граббера
Если Вы нажмете правой кнопкой мыши на имени проекта, Internet Download Manager отобразит меню, с помощью которого Вы сможете открыть, продолжить загрузку, запланировать, переименовать или удалить проект.


Этап 1. Задать стартовую страницу
На первом этапе работы мастера Вы должны задать стартовую страницу. Протоколом по умолчанию является HTTP, прочие же протоколы, такие как HTTPS должны быть заданы явно. Стартовая страница, также, задает базовый сайт. Например, если бы Вы задали http://www.tonec.com/support/index.html, то базовым сайтом стал бы www.tonec.com со всеми поддерживаемыми протоколами, как то FTP, HTTPS, HTTP, относящимися к этому имени сайта.
Диалог 1 этапа Граббера
Если сайт требует авторизации, Вам необходимо на этом же этапе задать логин и пароль. Некоторые сайты позволяют просмотр/загрузку только после идентификации на определенной странице. В этом случае Вы должны нажать кнопку Дополнительно, отметить "Ввести логин и пароль на следующей веб-странице вручную" и задать страницу авторизации на сайте. Также, если сайт имеет кнопку завершения авторизированного сеанса связи, Вы должны указать здесь страницы завершения сеанса, которые Граббер не должен открывать. Если Вы зададите страницу авторизации, то Граббер после четвертого этапа откроет окно браузера и позволит Вам перед продолжением анализа и загрузки пройти авторизацию вручную.
Если Вы хотите сохранить проект Граббера для дальнейшего использования, Вам необходимо выбрать уникальное имя проекта и ввести его в поле "Имя проекта Граббера". Имя проекта отображается в списке сохраненных проектов дерева категорий основного окна IDM.
Если Вам нужно загрузить все картинки, видео- или аудио-файлы с веб-сайта, Вы можете выбрать соответствующий шаблон в списке проектных шаблонов. Использование проектных шаблонов ускоряет запуск Ваших проектов, так как все необходимые настройки производятся автоматически.
Тем не менее, нет настоятельной необходимости выбора проектных шаблонов. Проектные шаблоны устанавливают предопределенные настройки Вашего проекта для последующих этапов работы мастера Граббера. Если Вы загружаете файлы с веб-сайтов с одинаковыми настройками Граббера, Вы можете на этом этапе выбрать шаблон "Выборочные настройки", задать на следующих этапах необходимые параметры и затем сохранить их в шаблон, выбрав в меню "Проект->Сохранить текущие настройки как шаблон".


Этап 2. Задать пути сохранения файлов
На втором этапе Вы должны указать место, куда будут помещаться загруженные файлы.
Диалог 2 этапа Граббера
Вы можете сохранять каждый файл согласно его категории. Так, например, если у Вас имеется категория "Сжатые файлы", которая включает в себя типы файлов zip arj и rar, и ассоциированная с нею папка, к примеру, c:\my documents\myname\downloads\compressed, тогда все загруженные файлы с расширениями zip arj и rar будут помещены в папку c:\my documents\myname\downloads\compressed.
Вы, также, можете сохранить все загруженные файлы в папку, связанную с выбранной категорией. Для этого необходимо выбрать соответствующий пункт списка и указать категорию. Граббер найдет и покажет чуть ниже папку, соответствующую данной категории.
Если Вы хотите полностью воссоздать дерево папок, как оно было на веб-сайте, Вы можете выбрать папку, куда сохранять все загруженные файлы и отметить пункт "Использовать исходную структуру папок".
Если Вы загружаете веб-сайт целиком или же часть веб-сайта, Вы можете отметить пункт для преобразования ссылок в локальные для автономного просмотра. Эта опция блокируется, если на первом этапе Вы выбираете шаблон, не инициирующий сохранение всех html-страниц, к примеру "Все картинки с веб-сайта". Также, Граббер преобразует все ссылки на файлы, которые не были загружены, в абсолютные интернет-ссылки.
Если не будет отмечен пункт "Заменять существующие файлы", и файл с соответствующим именем уже имеется, то Граббер добавит к имени файла знак подчеркивания и номер, например, index_2.html.
Опция "Добавлять выбранные файлы в... IDM" не обязательна. Панель инструментов основного окна Граббера содержит кнопку с теми же функциональными возможностями, чтобы добавить все выбранные файлы в основной список загрузки программы Internet Download Manager. Если же соответствующий пункт отметить, то все выбранные файлы будут автоматически добавлены в IDM после закрытия Граббера.


Этап 3. Задать фильтры просмотра
На этом этапе Вы должны указать какие веб-страницы просматривать в поисках желаемых файлов. Заметьте, что Вы устанавливаете критерии только для просматриваемых веб-страниц. Вы можете задать типы файлов, расположение и прочие фильтры для загружаемых файлов на следующем этапе.
Диалог 3 этапа Граббера
Стартовая страница, которую Вы задали на первом этапе, устанавливает базовый сайт просмотра. Например, если Вы задали http://www.tonec.com/support/index.html то базовым сайтом стал бы www.tonec.com со всеми поддерживаемыми протоколами, привязанными к этому сайту, то есть https://www.tonec.com и ftp://www.tonec.com. На этом этапе Вы можете указать Грабберу, искать ли все файлы на базовом (этом) сайте или же задать число уровней веб-страниц для обработки на базовом (этом) сайте и число уровней для обработки на других сайтах. Нажмите для ознакомления с понятием "количество уровней ссылок". Будьте осмотрительны при установке большого количества уровней для других сайтов, так как это может замедлить работу IDM за счет демонстрации бесполезных файлов, а также привести к обработке миллионов ненужных страниц.
Если Вы отметите "Игнорировать всплывающие окна", то Граббер не будет просматривать веб-страницы, которые выскакивают в браузерах за время загрузки страницы. Заметьте, что понятие момента всплытия окна не применимо по отношению к Грабберу, но применимо к веб-браузерам. Граббер не открывает никаких окон браузера, кроме тех случаев, когда Вы используете идентификацию вручную.
Если стартовая веб-страница содержит путь относительно имени сайта (пример: http://www.tonec.com/support/index.html), то становится доступным пункт "Не просматривать родительские папки". Если Вы отметите "Не просматривать родительские папки", то Граббер не будет просматривать директории предыдущего уровня относительно стартовой страницы. Например, для http://www.tonec.com/support/index.html Граббер не будет просматривать http://www.tonec.com/index.html и http://www.tonec.com/other/index.html, но проанализирует http://www.tonec.com/support/file.html и http://www.tonec.com/support/other/index.html.
Если Вы отметите пункт "Просмотреть все сайты в рамках базового домена", то Граббер просмотрит все прочие домены, имеющие общий корень с доменом стартовой страницы. Например, для http://www.tonec.com/support/index.html Граббер просмотрит http://tonec.com, http://ftp.tonec.com и http://some.other.domain.tonec.com. В дочерних доменах Граббер будет просматривать количество уровней, указанных для базового сайта.
Граббер также может запустить на странице JavaScript и проанализировать результаты его работы. Этот путь поможет отыскать больше ссылок на сайте, но Вы должны использовать эту опцию осторожно.
Если Вы нажмете кнопку Дополнительно, то диалог развернется, что позволит задать включающие и исключающие фильтры для доменов/путей, в пределах которых Вы желаете просмотреть страницы. Вы можете использовать звездочку для замещения любого количества символов, чтобы создать шаблон фильтра.


Установка количества уровней
Ниже приведены примеры того, сколько уровней Вам необходимо установить в Граббере в зависимости от Ваших потребностей поиска.
Согласно схеме, Уровень 0 для базового сайта и Уровень 0 для прочих сайтов означает, что просматривается только стартовая страница. Все файлы, содержащиеся на стартовой странице (картинки, архивы, аудио, видео, файлы и пр.) будут внесены в список Граббера.
Уровень 1 для этого сайта и Уровень 0 для прочих сайтов означает, что Граббер просмотрит стартовую страницу и веб-страницы номер 1 и 2.
Уровень 3 для этого сайта и Уровень 1 для прочих сайтов означает, что Граббер просмотрит стартовую страницу, а также, страницы номер 1, 2, 3, 4, 5, 6, 7, 8 на базовом (этом) сайте и страницы 9, 10, 11 на прочих сайтах и т.д.
Пожалуйста, не забывайте, что число уровней имеет отношение только к веб-страницам. Для загружаемых файлов, связанных со страницей, Граббер на этом этапе не проверяет совокупность уровней. Есть другие фильтры для загружаемых файлов, которые могут быть заданы на следующем этапе.


Обработка JavaScript
На многих сайтах есть некоторые ссылки, сформированные благодаря запуску JavaScript в ответ на различные события, такие как загрузка страницы или нажатие кнопки. Граббер IDM может запустить все JavaScript, чтобы отыскать подобные ссылки. Однако в некоторых случаях при выполнении сценария, Граббер может выполнить нежелательные команды, такие как запуск инсталляции компонента. Используйте опцию "Проанализировать JavaScript" с осторожностью и только в том случае, если Вы уверены, что сайт не содержит злонамеренного кода JavaScript или если Вы доверяете сайту с которого производите загрузку.
Даже с этой опцией в отключенном состоянии, Граббер просеет текст JavaScript и отыщет большинство ссылок, кроме тех, которые получены с помощью сложных выражений JavaScript.


Этап 4. Задать фильтры файлов
На этом этапе Вам необходимо задать типы файлов, их расположение и прочие фильтры для загружаемых файлов. Вы можете задать включающие и исключающие фильтры для всех типов файлов.
Диалог 4 этапа Граббера
Если Вас не удовлетворяют предопределенные фильтры, Вы можете добавить/изменить их, воспользовавшись кнопкой Добавить фильтр. После нажатия Добавить фильтр будет открыт следующий диалог.
В фильтре, содержащем несколько типов файлов, элементы должны быть отделены друг от друга запятыми без пробелов. Используйте звездочку (*) для замещения любого количества символов. Воспользовавшись звездочкой, Вы можете создать шаблон, соответствующий нескольким именам файлов, например шаблон "image*.jpg" соответствует любой картинке в формате jpg c именем файла, начинающимся со слова "image", как то image01.jpg, image2.jpg, imageHot.jpg, и image735.jpg. Можно использовать выражение "<start page>" в фильтрах для заданной на первом этапе стартовой страницы.
Если Вы отметите пункт "Искать файлы только на этом сайте", то файлы, расположенные на других сайтах не будут отображаться в основном окне Граббера, и Граббер не будет проверять тип и размер этих файлов.
Вероятно, что во время анализа проекта, Граббер найдет много копий одних и тех же файлов, расположенных в разных местах. Если Вы отметите "Скрывать найденные в разных местах дубликаты файлов", Граббер покажет только первую обнаруженную копию файла. Граббер определяет файл как копию, если он имеет то же имя и тот же размер. Эта опция неактивна, если включено "Использовать исходную структуру субпапок".
Если Вы отметите "Начать загрузку всех подходящих файлов немедленно", то все найденные файлы будут немедленно загружены. Вы можете сначала просмотреть сайт, отобрать необходимые Вам файлы и загрузить их в основном окне Граббера или добавить их к основному списку загрузки IDM.
Если Вы нажмете кнопку Дополнительно, то диалог развернется, что позволит задать включающие и исключающие фильтры для путей/доменов, откуда Граббер будет загружать файлы. Используйте звездочку (*) для замещения любого количества символов. Также, Вы можете задать минимальный и максимальный размер для загружаемых файлов.


Основной диалог Граббера
Основной диалог Граббера состоит из панели инструментов, окна, где отображены все файлы, и дерева, показывающего структуру сайта.
Основной диалог Граббера
Дерево показывает структуру сайта по ссылкам и по папкам. Вы можете увидеть полный список всех найденных файлов, представленный в виде файлов, найденных на странице, или в виде файлов, найденных в папке.
Панель инструментов включает следующие кнопки: Начать просмотр сайта, Остановить просмотр сайта, Выбрать все файлы, Убрать все файлы, Начать загрузку выбранных файлов, Остановить загрузку выбранных файлов, Добавить выбранные файлы в основной список и очередь загрузки IDM, Обновить все, Планировщик проектов и Показать статистику Граббера.
Можно отметить все необходимые для загрузки файлы и начать загрузку немедленно или же добавить их к основному списку загрузки IDM. В любой момент Вы можете вернуться на любую страницы мастера Граббера для изменения настроек, фильтров, путей сохранения файлов и пр., после чего продолжить анализ сайта или загрузку файлов.
Если файл был загружен, то файл или содержащая его папка могут быть открыты с помощью меню, открывающегося по нажатию на имени файла правой кнопки мыши.
Также, воспользовавшись мышью и клавишей SHIFT, можно выделить несколько файлов в списке и, затем, отметить или снять отметку сразу для всех выделенных файлов. Пункт "Свойства" во всплывающем меню откроет диалог, где Вы сможете задать имя файла для сохранения или скопировать URL файла или Referrer (источник ссылки) в буфер обмена.
Кнопка Показать статистику Граббера откроет окно "Статистика Граббера". Окно всегда располагается поверх всех остальных окон, чтобы Вы могли видеть его во время выполнения проекта Граббера.
Окно статистики Граббера
Окно статистики Граббера показывает основную статистическую информацию о проекте.


Настройки Граббера
В диалоге "Настройки Граббера IDM" Вы можете указать количество файлов для одновременного анализа и количество файлов для одновременной загрузки.
Если ссылка на найденный файл содержит какой-либо текст, то описание, содержащееся в тексте, будет внесено в поле "Описание" и будет показано, когда Вы добавите файл к основному списку загрузки IDM.
По умолчанию пункт "Искать файлы в кэше IE перед загрузкой" отмечен. Если Граббер обнаруживает файл в кэше IE, он проверяет, был ли файл изменен. Если файл был изменен, то Граббер подгружает его с сайта. В противном случае Граббер берет файл из кэша IE. Если Вы не используете Internet Explorer, можете отключить эту опцию.


Планировщик
Можно запланировать время анализа/загрузки или время синхронизации для каждого проекта.
Если Вы выберете опцию "Единичный анализ/загрузка", то это будет, возможно, (а) только для анализа сайта в поисках необходимых файлов или (б) чтобы просмотреть сайт и загрузить все необходимые файлы или (в) чтобы загрузить выбранные файлы.
Пожалуйста, примите к сведению, что если Вам необходимо загрузить несколько файлов с сайта, имеющего частые проблемы с загрузкой, то лучше добавить выбранные файлы к основному списку загрузки IDM и загрузить эти файлы воспользовавшись кнопкой Запуск в основном окне IDM. В этом случае IDM будет бесконечно повторять попытки загрузки. Если же Вы производите загрузку с помощью Граббера, он делает только 2 попытки загрузить файлы, после чего завершает работу, полагая, что все возможное для проекта сделано.
Вы можете спланировать периодическую синхронизацию для сайта или для выбранных файлов, включив опцию "Периодическая синхронизация". В этом случае Граббер проверит, были ли файлы изменены, и, если были, он загрузит новые файлы и заменит ими старые. Для периодической синхронизации Планировщик включит опцию "Замещать существующие файлы" в проектных настройках второго этапа мастера Граббера.
Проект будет запущен в назначенные день и время, только если отмечен пункт "Начать загрузку в". Сам проект должен быть закрыт или, если открыт, то должен быть открыт на основном диалоге Граббера и быть остановленным. Выполняющийся проект или проект, открытый на любой стадии работы мастера, не будет запущен Планировщиком.
Если выбрана "Периодическая синхронизация", то возможен многократный запуск проекта через определенное число минут/часов. Планировщик будет выполнять проект до времени, указанном в "Закончить загрузку в" или, если этот параметр не задан, то до конца дня.
Существует возможность остановить любой проект в указанное время, если Вы отметите пункт "Закончить загрузку в" и укажете время. Заметьте, что выполнение проекта завершится независимо от состояния переключателя "Начать загрузку в".
По завершении проекта Граббера Вы можете отключить модем и закрыть Internet Download Manager или отключить компьютер как и в основном Планировщике IDM. Вы, также, можете по завершении проекта Граббера открыть файл или выполнить программу. Если Вы хотите запустить несколько файлов по завершении работы Граббера, Вы можете создать bat-файл и указать на него в "Открыть по завершении следующий файл". Пожалуйста, примите к сведению, что по окончании выполнения запланированного проекта, IDM будет ждать в течение 10 секунд, после чего инициирует выполнение операций, запланированных по завершении.