13 лет назад 1 июля 2005 в 20:48 123

Что за радость – сидеть по ночам в интернете, сохранять постранично любимые сайты, а утром с красными глазами бежать на работу? Лучше выспаться, а сайты пусть качает офлайновый браузер Offline Explorer.

Offline Explorer и к интернету в нужный час подключится, и стащит оттуда что прикажете, и заботливо все запакует в архив, после чего разорвет соединение и даже выключит компьютер. Утром эти скачанные сайты хоть на флэшку копируй, хоть на КПК или ноутбук, и просматривай их хоть на работе, хоть на борту самолета. При желании даже автозапускаемый CD из этих сайтов можно сделать. Кусок сохраненного “веба” будет доступен для просмотра в любое время и без всякого подключения к интернету, даже если в сети самих исходных сайтов и след давно простыл.

Одним словом, офлайновый браузинг – просто находка. Диалапщикам, “сидящим” на слабых перегруженных каналах, этот метод позволит сильно сократить расходы на доступ в интернет – Offline Explorer загрузит нужные сайты на самой высокой возможной скорости или максимально уплотнит трафик при обычном веб-серфинге. Владельцам толстых каналов такой подход сэкономит драгоценное время – Offline Explorer может загружать до 500 файлов одновременно! В любом случае, просматривать сайты с жесткого диска гораздо быстрее, чем из Сети, да и комфортнее намного – никаких тебе сообщений “Невозможно отобразить страницу”. При наличии в конторе интранета можно не только самому насладиться таким просмотром, но и порадовать коллег – у Offline Explorer имеется встроенный веб-сервер, позволяющий просматривать загруженные сайты по сети на других компьютерах.

ПОЧЕМУ OFFLINE EXPLORER?
Поскольку данная статья не является сравнительным обзором офлайновых браузеров, вам придется принять следующее утверждение без доказательств или проверить его самостоятельно: Offline Explorer – одна из самых лучших и мощных программ этого класса. Однако, как говорится, техника в руках дикаря – кусок железа, и если не научиться управлять мощнейшим арсеналом средств Offline Explorer, то их наличие для вас будет равноценно очкам для мартышки из небезызвестной басни. Именно поэтому мы расскажем об основных моментах работы с Offline Explorer: что в ней нужно настроить в первую очередь, как создать шаблоны для загрузки, как запустить и сохранить проект, и что с ним потом можно делать.

ПЕРВЫЙ ВЗГЛЯД
В окне Offline Explorer имеется девять основных разделов, но по функциональности все их можно разбить на четыре условные группы:

1 Проводник проектов. Проект – это самостоятельная задача загрузки. В проводнике мы будем создавать эти проекты, а также удалять, изменять, перемещать или копировать и даже вставлять из буфера обмена. Проекты можно удобно рассортировать по тематическим папкам и каждой папке задать свой каталог для хранения на диске. В проводнике имеется три закладки. На первой отображается список проектов, на второй – структура сохраняемого сайта, а на третьей – очередь файлов, ожидающих загрузки.

2 Статус загрузки. В нижней части экрана в реальном времени можно наблюдать за процессом загрузки файлов – выводится их размер, процент загрузки, адрес и другие параметры.

3 Окно просмотра. Служит для отображения загруженных сайтов во внутреннем браузере, который основан на Internet Explorer. Забегая вперед, отметим, что страницы для просмотра можно открыть и во внешнем браузере.

4 Управление. Меню программы и дублирующие его панели управления, адресная строка и кнопка быстрой загрузки – все это служит для настройки и управления всеми процессами офлайнового браузинга.

ЧТО НУЖНО НАСТРОИТЬ В ПЕРВУЮ ОЧЕРЕДЬ
Естественно, первым делом нужно переключить программу на русский язык (“Вид” > “Языки”). Потом отключить подсказки – они только отвлекают от дела (“Справка” > “Советы” – убрать флаг “Показывать советы при запуске”). В блоке дополнительных настроек (“Сервис” > “Настройки” > “Дополнительно”) сделайте активным пункт “Работа в области задач” – программа при минимизации будет сворачиваться в системный лоток. А чтобы случайно не закрыть программу по “кресту”, таким же образом активизируйте пункт “Х кнопка минимизирует окно программы”.

В этом же блоке в разделе “Размещение” при необходимости выберите другой диск для хранения проектов, если на вашем диске C маловато свободного места. Опцию “Предотвращать перегрузку каталогов” следует включать только пользователям Windows 95/98/Ме – Offline Explorer будет создавать дополнительные подкаталоги, если в какой-то папке число загруженных файлов превысит 1000.

Если используется прокси-сервер, нужно обязательно внести его настройки (блок “Прокси-сервер”), иначе программа ничего закачивать не будет. Нелишне будет сразу задать ограничения скорости для каждого из режимов: “Высокая”, “Средняя”, “Низкая”, “фоновая”. Понятно, что “Высокая” скорость будет устанавливаться, если сайт нужно закачать срочно или вам во время закачки больше ничего не нужно делать в интернете, разве что общаться по ICQ. Поэтому этот режим лучше вообще не ограничивать – убрать флаг “Ограничение скорости”.

Для “Средней” и “Низкой” стоит выставить значения, при которых не будет тормозиться другая работа в Сети. А вот для “Фоновой” можно выбрать минимальное значение: замечено, что работающий Offline Explorer препятствует обрывам связи, поэтому при неустойчивом соединении имеет смысл постоянно что-то загружать на этой минимальной скорости. Правда, есть здесь один минус: самая маленькая скорость, которую можно установить в Offline Explorer – 1 кбайт/с, что для “дохлых” модемных подключений никак не может быть фоновой скоростью – скорее, средней.

ШАБЛОН ПО УМОЛЧАНИЮ
Теперь нам осталось создать проект для загрузки и запустить его на выполнение. Проще всего сделать это с помощью встроенного Мастера, который позволяет пошагово задать все параметры проекта, и выбор каждого параметра доходчиво комментируется прямо в диалоговых окнах. Однако каждый раз создавать проект таким образом довольно утомительно и долго, да и параметры проектов часто бывают абсолютно одинаковыми. Сильно упрощает процесс создания нового проекта использование шаблонов для загрузки. Достаточно сделать несколько таких шаблонов с типовыми установками, и можно создавать практически любой проект, слегка изменяя его свойства. Несколько готовых шаблонов уже имеется в составе Offline Explorer (“Файл” > “Шаблоны”) – для сохранения текущей страницы, одних картинок с этой страницы или со всего загружаемого сайта, и то же самое для сохранения флэш- и медиафайлов.

Один из таких шаблонов можно выбрать “по умолчанию”, после чего добавить новый проект в Offline Explorer будет проще простого. Первый способ: вводим URL в поле адреса, изменяем при необходимости настройку уровня, а затем нажимаем кнопку “Загрузка”. Второй способ еще легче: перетаскиваем мышью любую ссылку из браузера в дерево проектов Offline Explorer – создается новый проект с этим URL. Все другие свойства в обоих случаях устанавливаются по умолчанию, а новый проект моментально создается и загружается.

Какой из шаблонов выбрать “по умолчанию”? Чаще всего необходимо сохранить весь сайт целиком или один из его разделов, при этом исключить рекламу и прочий мусор, не грузить тяжелые файлы (например, архивы) и не скачивать ничего с серверов, отличных от выбранного. Попробуем создать такой шаблон. В редакторе шаблонов нажимаем кнопку “Новый” и в открывшемся окне изменяем свойства проекта по всем категориям.

– Проект. Назвать этот шаблон можно примерно так: “Целый сайт с картинками”. Раз нужно грузить весь сайт, то флаг у параметра “Уровень” снимаем совсем. Поскольку этот параметр определяет глубину закачки (количество ссылок от первой страницы до самой последней), то тот же эффект даст установка огромного значения “Уровня”, например 999. Настройка “Не загружать существующие файлы” удобна тем, что при последующем обновлении загруженного проекта Offline Explorer сразу же начнет скачивать отсутствующие файлы. При установке “Загружать только измененные и новые файлы” проверка идентичности файлов на сайте с уже сохраненными файлами на диске может занять очень много времени. Включать эту настройку (как и другие неупомянутые) следует только при необходимости, например при желании синхронизировать сильно изменившийся за долгое время сайт с его копией на вашем диске.

– Типы файлов. Отключаем видео, аудио и архивы. (Впоследствии все это можно легко подключить, если вздумается скачать, к примеру, какой-то архив программ или музыки.) Для каждого типа файлов следует выбрать “Загружать только с начального сервера” и ограничить размеры файлов приемлемыми для вас цифрами, скажем, 300 Кб. Особенно внимательно нужно отнестись к настройке раздела “Изображения”. При установке “Загружать отовсюду” будут грузиться баннеры, счетчики и прочее, а если не установить “Максимум” на загружаемый файл, есть риск скачать вместе с полезной информацией на сайте какую-нибудь любительскую фотогалерею. Обязательно нажмите кнопку “Размер изображений” и включите фильтрацию картинок по размерам (“Пропускать изображения следующих размеров”) – это позволит избавиться от загрузки баннеров стандартных размеров, расположенных на загружаемом сайте.

– Фильтры URL. Настройки этого блока применяются к типам файлов, для которых в поле “Расположение” включено “Загружать согласно фильтрам URL”. Все четыре фильтра работают как единое целое и позволяют исключить загрузку по протоколу, имени сервера, пути и даже имени файла. У каждого из фильтров три режима: глобальный – позволяющий загружать все; начальный – разрешающий загружать только начальный протокол, файлы с начального сервера или домена, с начального каталога и ниже и с начальным именем; режим произвольной конфигурации – включающий или исключающий загрузку файлов по ключевым словам для фильтрации URL.

В блоке фильтров нужно настроить следующее:
1 Сервер. Установить переключатели “Загружать файлы с начального” и “сервера”, иначе можно никогда не дождаться завершения загрузки сайта – программа пойдет скачивать весь интернет.

2 Каталог. Именно здесь можно исключить загрузку всяких ненужных разделов сайта по маске их адресов: */voting/*, */board/*, */ratings/* и так далее. Выбрав “Произвольную конфигурацию”, можно эти маски ввести по одной или скопировать несколько из заранее подготовленного списка. В этом же фильтре можно ограничить загрузку проекта всего одним каталогом (“Загружать файлы с начального каталога и ниже”).

3 Имя файла. Разведав вручную сайт, подлежащий загрузке, можно отобрать множество элементов, которые и даром вам не нужны: “Сообщить о нашем сайте знакомым”, “Связаться с автором”, “Версия страницы для печати”. Все это можно отфильтровать по маскам, имеющим примерно такой вид: *mailto*,*avtor*, *print*.

Здесь же можно исключить загрузку конкретных типов файлов, например *.ppt или *.pdf.
– Дополнительно. В этом блоке можно включить опцию сохранения старых файлов, и Offline Explorer будет делать их копии (до 10 тысяч) вместо перезаписи. Здесь же устанавливается расписание для загрузки проектов и выбирается режим перевода ссылок: “Трансляция для локального просмотра”, “Онлайн-трансляция” или “Без изменения ссылок”. Оптимальным выбором является второй режим, при котором только ссылки, разрешенные для загрузки, изменяются на локальные.

ЗАГРУЗКА ПРОЕКТОВ
С шаблонами покончено, остается создать нужные проекты и запустить их на загрузку – по одному или все сразу, в зависимости от толщины канала. Если хочется максимально использовать льготное время, скажем, бесплатный доступ в ночные часы, стоит воспользоваться функцией “Управление расписанием” (“Вид” > “Последовательность запуска”). Проекты для загрузки просто перетаскиваются мышью в специальное окно, выстраиваются в той очередности, в которой их хочется загрузить, и для всей этой очереди устанавливается расписание на загрузку. Кстати, диалапщики и обладатели неустойчивой связи могут особо важные сайты добавить в очередь загрузки несколько раз. Порвется связь или возникнет тайм-аут – пропущенные из-за этого файлы загрузятся в следующий раз.

Offline Explorer может загружать до 500 файлов одновременно, однако слишком жадничать не стоит – достаточно использовать 10-20 одновременных соединений. Меньшее их количество может замедлить загрузку проекта, а большее – сделать ее неустойчивой из-за большого времени ожидания ответа сервера (тайм-аута). В принципе, при горячем желании задействовать побольше соединений можно попытаться увеличивать время этого таймаута до тех пор, пока загрузка не станет устойчивой. Экспериментируя с количеством соединений, не следует нервничать из-за того, что удаленные вами лишние каналы не сразу исчезают из списка. Так и должно быть – просто Offline Explorer ожидает завершения загрузки файлов на этих каналах. Есть еще одна причина, по которой не стоит использовать много каналов: некоторые сайты расценивают такое массированное многоканальное скачивание как хакерскую атаку и могут попросту заблокировать ваш IP, не отдав вам ни единого файла.

И все же “потолок” в этом деле устанавливает система – больше 100 соединений просто нельзя устанавливать, поскольку Windows не может обработать такое количество открытых сокетов TCP/IP. Не нужно стремиться и запускать на загрузку много проектов одновременно – выигрыша от этого особого не будет, поскольку файлы, поставленные всеми проектами в очередь, совместно используют одни и те же каналы загрузки.

Поскольку в настройках проекта невозможно предусмотреть все на свете, ненужная информация иногда все-таки будет скачиваться. К счастью, это можно пресечь прямо по ходу загрузки. Заметив, например, что пошел грузиться свадебный фотоальбом автора сайта, который вам совсем неинтересен, выберите в карте сайта соответствующую папку и запретите ее загрузку (или совсем удалите из проекта). Точно так же можно выбросить любые файлы, уже попавшие в очередь на загрузку.

Во время загрузки проекта можно изменять скорость, делать паузу и совсем останавливать проект. Последнее нужно делать только в том случае, если вы совсем передумаете загружать какой-то проект. А, если намерены возобновить его загрузку позже, например, после перезапуска компьютера, лучше воспользоваться уникальной возможностью Offline Explorer – “Приостановить в файл”. В этом случае состояние загрузки проекта сохраняется в отдельном файле, а по команде “Восстановить из файла” загрузка моментально продолжается с места остановки. (После полной остановки проекта Offline Explorer долго бы “сличал” загруженное на диск с содержимым сайта”). Кстати, приостановить в файл можно не только отдельный проект, но и целую запущенную очередь.

Экспорт проектов
О том, что можно делать с загруженным проектом, мы говорили в начале статьи, добавим лишь, что начинать просматривать сайт автономно можно, не дожидаясь его окончательной загрузки. Статичные проекты, которые не требуется обновлять (например, электронные книги) после загрузки лучше перенести на вечное хранение в отдельный каталог. Более того, для компактности хранения эти проекты лучше экспортировать в ZIP-файлы, MHT-архивы или файлы HTML Help (CHM). Два последних формата удобны тем, что все экспортируемые сайты сохраняются в единый файл, для просмотра которого уже не требуется Offline Explorer. HTML Help выгоднее тем, что благодаря сжатию его файл занимает меньше места на диске. MHT-архив не использует сжатия, зато его файлы могут просматриваться без использования MS IE. Еще одна интересная разновидность экспорта – в MS IE cache – все экспортируемые сайты становятся доступными в режиме “Автономная работа”.

Полезные функции Offline Explorer Pro
– Загрузка хитрых сайтов. Далеко не все сайты отдают свои страницы различным программам-качалкам, в том числе и офлайновым браузерам. С Offline Explorer такие сайты скачать можно, если в настройках соединения программы выполнить следующее:

1 “прикинуться” безобидным браузером (установить переключатель в положение “Идентифицировать как” и выбрать из списка Microsoft Internet Explorer);
2 установить “Количество соединений” равным 1;
3 установить задержку между загрузками, скажем, в 5 секунд;
4 отключить загрузку картинок.

Жадный сервер будет считать, что это вы вручную открываете его страницы в IE, и проект загрузится без проблем. Кстати, если задать случайную задержку между загрузками (ввести в это поле интервал, скажем, 3-10), имитация ручного просмотра сайта станет еще более правдоподобной. После этого останется убрать паузы между загрузками, включить загрузку изображений (и, наоборот, отключить загрузку страничек), установить любимое количество соединений и просто обновить проект.

– Загрузка сайтов с паролями. Сайты, использующие формы и cookies для идентификации пользователя (пример – www.itknowledge.com), труднодоступны для загрузки офлайновыми браузерами. В Offline Explorer для их получения нужно всего лишь один раз в дополнительных свойствах проекта ввести свое имя и пароль, а в тех же настройках соединения активизировать “Иcпoльзoвaть MS IE cookies” – и все, “запароленный” сайт можно закачивать обычным образом. Кстати, любую заполненную веб-форму в Offline Explorer можно сохранить как отдельный проект и потом просто ею пользоваться.

– Макрокоманды. Очень полезны для планировки автоматических загрузок в случае, когда каждый раз меняется URL проекта. Например, ежедневную картинку с погодного сайта можно получать по ссылке www.weather.com/image{:day}.png, где {:day} – текущий день (1-31). Скачать все ежемесячные странички журнала Upgrade Special можно вот так: www.computery.ru/ups/{:0..99}/ups_{:0..99}.htm, где номера выпуска лежат в интервале от 0 до 99. Таких макрокоманд множество, и их применение подробно расписано в справке к программе.

Поработав некоторое время с Offline Explorer Pro, каждый из вас найдет свои “изюминки”. Кто-то обрадуется возможностям программы по извлечению данных с загруженных сайтов и будет “выдирать” из них e-mail-адреса. Кому-то понравится возможность запуска внешних программ после завершения загрузки – и он будет запускать ReGet, чтобы максимально использовать свое бесплатное время в Сети. Кто-то начнет применять Offline Explorer как записную книжку, включив автосохранение просмотренных страниц во встроенном браузере или сохраняя отдельные страницы. Профессионалам может пригодиться возможность загрузить сайт полностью для правки, анализа и постобработки с последующей обратной публикацией.

Создать автозапускаемый CD с собственными сайтами – хорошее решение для тех, кому нужно похвалиться своими разработками. Такой диск может просматриваться под любой операционной системой, даже под Mac OS или Linux, и Offline Explorer для этого не потребуется. Итак, чем же хорош Offline Explorer? Перечислим его главные достоинства.

Превосходный пользовательский интерфейс, объединяющий легкость использования и мощный набор инструментов для выполнения самых трудных задач загрузки – это раз. Простое и гибкое создание новых проектов с использованием шаблонов – это два. Удобное управление проектами (одновременный запуск, группировка по папкам, редактирование, удаление, копирование, создание резервных копий, поиск или экспорт проектов и папок) – это три. Полный контроль над загрузками, позволяющий загружать из Сети только то, что нужно, и отсеивать всяческий мусор вроде рекламы, форумов и гостевых книг – это четыре. Наличие планировщика, который как раз и позволит вам спать спокойно ночью, в то время как программа автоматически выполняет задачи по заданному расписанию – это пять. Удобное сохранение и просмотр загруженных проектов как во внутреннем, так и во внешнем браузере – это шесть.

Мало? Тогда добавьте к этому поддержку самых современных интернет-технологий, возможность загрузки не только веб-сайтов, но и других сетевых объектов (например, FTP), отправку заполненных нестандартных форм, наконец, самую высокую скорость загрузки среди офлайн-браузеров, обусловленную способностью программы загружать одновременно огромное количество файлов (кстати, скорость эту можно ограничивать)… Вроде и желать-то больше нечего.

Возможности Offline Explorer Pro, не включенные в стандартную версию

– Отдельный каталог загрузки для папок Проекта
– Вложенные папки в Дереве Проектов
– URL macros
– Множество URL в каждом Проекте
– Подсветка синтаксиса для URL, URL Macros и дополнительных параметров
– Автозавершение ввода URL Macros
– Способность сохранять копии оригинальных исходных веб-страниц с неизмененными ссылками (primary-файлы)
– Способность сохранять старые копии загруженных файлов
– Менеджер очереди загрузок
– Возможность изменения каталога для хранения Проектов, шаблонов и карт Проектов
– Улучшенный дизайн панели сообщений
– Поддержка протокола HTTPS (для загрузки с защищенных веб-сайтов)
– Поддержка протокола MMS (файлы потоков Microsoft Media Player)
– Поддержка протокола RTSP (файлы потоков Real Player)
– Поддержка протокола PNM (файлы потоков старой версии Real Player)
– Извлечение данных – обработка веб-сайтов после их загрузки
– Возможность запрета доступа к встроенному HTTP-серверу с других компьютеров
– Возможность настройки уровня ссылок, загружаемых с других серверов
– Автоматический экспорт загруженных проектов
– Произвольные referrers-, cookies- и post-запросы
– Загрузка или экспорт файлов непосредственно в кэш MS IE
– Экспорт загруженных файлов в обычный каталог без вложенных подкаталогов
– Экспорт загруженных файлов в архивный MHT-файл или файл HTML Help (.CHM)
– Автоматическое удаление старых файлов Проекта
– Настройка файлов Contents.htm перед экспортом веб-сайтов
– Дополнительное окно описания проекта для того, чтобы добавить к нему многострочный комментарий
– Способность печатать веб-сайт полностью
– Фильтр изображений по их размеру в пикселях (поддержка установки мин/макс размеров для их загрузки и список нежелательных для загрузки размеров)
– Режимы дополнительной проверки изменения файлов: проверка размеров файлов и пропуск существующих медиафайлов
– Способность сбора адресов e-mail из загруженных веб-сайтов
– Способность предотвращать переполнение директорий загрузки
– Фильтры содержания для загрузки только страниц, содержащих ключевые слова
– Исследование простых веб-форм
– Возможность замены URL
– Способность ограничения количества соединений в проекте и паузы индивидуальных загрузок проекта
– Встроенный редактор с подсветкой синтаксиса HTML, CSS и JavaScript-файлов
– Возможность автосохранения страниц при их просмотре