Пользование серверной статистикой и User-Agent String.

В последнее время поступает достаточно много вопросов по использованию серверной статистики, определению посещаемости, регистрации посещения поисковых ботов и основам индексации сайта.
Различные поисковики оставляют разные "подписи" при посещении сайта.
Список поисковых ботов: http://packpymku.net/articles/03/searchrobots.php.
Некоторые открыто заявляют о себе и том, кто они и что проверяли, некоторые прячутся под чужими именами.

То же самое происходит при посещении сайта посетителями. Некоторые броузеры открыто говорят, кто они и откуда. Другие - прячут своё лицо за чужой подписью. Интересно, что новый броузер от Microsoft - Internet Explorer IE7 маскируется под Mozilla/4.0 -

IEBlog: The IE7 User-Agent String :
http://blogs.msdn.com/ie/archive/2006/09/20/763891.aspx

Практически все браузеры сообщают о своей версии и операционной системе в заголовке User-Agent. А старые браузеры в заголовке From передавали еще адрес электронной почты. Кроме того, в заголовке Referer передаётся URL, с которого Вы пришли на страницу по ссылке.

Существует два основных метода определения объекта, запрашивающего страницу вашего сайта:
Первый, простой метод - с помощью User-Agent. Каждый раз, когда кто-либо (будь то робот поисковой системы или браузер, управляемый человеком) запрашивает страницу, на сайт поступает информация об имени User-Agent. Если страницу сайта запрашивает робот поисковой системы, переменная User-Agent содержит имя поисковой системы.

Второй метод - определение IP-адреса. Этот способ подразумевает использование базы данных, содержащей IP-адреса всех поисковиков. Когда посетитель (поисковая система или человек) запрашивает страницу, скрипт проверяет IP-адрес посетителя. Если IP-адрес присутствует в базе данных, скрипт опознает, что посетитель - робот (паук) поисковой системы.