## PROJECT 2 : Web site grabber

Date | 30.08.2000
Name | Golovkine Alexandre
E-Mail | algol@hotmail.ru

- Script description
- Installation instructions (Apache configuration, perl or php modules configuration, ?)
- Commented scripts
- Commented work (problems, ideas, methods, known bugs, ?)

Описание программы:

> Программа предназначена для копирования содержимого сайтов на локальный диск. При инсталяции на удаленном сервере может создавать зеркальную копию заданного сайта. Выполнена в виде веб-интерфейса, т.е. запускается из окна браузера.

Инструкция по инсталяции:

> Программные требования- Perl 5.6, модули LWP::Simple, HTML::LinkExtor, File::Path, URI::Heuristic. Инсталяция возможна на любую платформу, поддерживающую Perl. Программа разработана в среде Win, тестировалась на Linux. Для установки в среде Windows необходим пакет Active Perl 5.6.06. (Все исползуемые модули входят в базовый комплект поставки) и необходимо наличие какого-либо веб-сервера, обеспечивающего запуск cgi-скриптов, например Apache или Xitami-Webserver. Отдельно разработана программа работающая из командной строки и не требующая наличие веб-сервера.

> Перед установкой необходимо установить правильный путь к интерпретатору Perl в первой строке программы например #!/usr/bin/perl

> Скопировать программу в директорию вашего локального или удаленного сервера, где должны находиться CGI-скрипты, обычно это cgi-bin или cgi.

> В Unix-подобных системах установить аттрибуты файла 0755 командой chmod.

> После этого программа будет доступна посредством любого браузера.

Работа с программой:

> После загрузки страницы скрипта в окне браузера указанным следовать инструкциям.

> По указанному адресу программа сканирует страницы на наличие в них ссылок на другие страницы, ссылок на изображения и на таблицы стилей, размещенные в пределах указанного адреса. В пределах заданного лимита файлы копируются в означенную директорию. При следующем запуске программа копирует только отсутствующие в означенной директории файлы.

Возможные проблемы:

> При копировании интерактивных страниц использующих некоторые серверные технологии, cgi к примеру, копируется страница генерируемая сервером икопия получает соответствующее расширение(.cgi), но становиться обычным файлом с гипертекстом. В целях сохранения структуры сайта такие страницы не переименовываются. А это в свою очередь ведет к ошибкам просмотра таковых используя сервер или к попыткам загрузить как файл при локальном просмотре. В этих случаях необходимо воспользоваться ftp-доступом.

> Проблемы возникают и при Flash и VRML объектах.