WikiDer > BotSeer
BotSeer была веб-информационной системой и поисковым инструментом, который использовался для исследования веб-роботов и тенденций в Протокол исключения роботов развертывание и соблюдение. Он был создан и разработан Ян Сунь,[1] Исаак Г. Каунцилл,[2] Цзымин Чжуан[3] и К. Ли Джайлс. BotSeer теперь неактивен; исходный URL-адрес был https://web.archive.org/web/20100208214818/http://botseer.ist.psu.edu/
История
BotSeer служил ресурсом для изучения правил и поведения веб-роботов, а также информацией о создании эффективных файлов robots.txt и реализациях поисковых роботов. Он был общедоступен в Интернете в Колледже информационных наук и технологий в Государственный университет Пенсильвании.
BotSeer предоставил три основных сервиса, включая поиск в robots.txt, анализ смещения роботов и[4][5] и анализ журналов, созданный роботами. Прототип BotSeer также позволил пользователям выполнять поиск в шести тысячах файлов документации и исходных кодах 18 проектов поисковых роботов с открытым исходным кодом.
BotSeer проиндексировал и проанализировал 2,2 миллиона файлов robots.txt, полученных с 13,2 миллиона веб-сайтов, а также большой журнал веб-сервера о реальном поведении роботов и соответствующий анализ. Цели BotSeer заключались в том, чтобы помочь исследователям, веб-мастерам, разработчикам поисковых роботов и другим лицам в исследованиях и информационных потребностях, связанных с веб-роботами. Однако некоторые люди восприняли BotSeer отрицательно, утверждая, что это противоречит цели соглашения robots.txt.[6]
BotSeer также создал горшок меда[7] для проверки этики, производительности и поведения поисковые роботы.
использованная литература
- «Веб-мастера могут формировать результаты поиска». Newsvine. Ассошиэйтед Пресс. 28 ноября 2007 г.. Получено 2011-12-11.
- "Google в пользу веб-администраторов". Сетевой мир. 15 ноября 2007 г. Архивировано с оригинал 18 декабря 2007 г.. Получено 2007-12-19.
Заметки
- ^ "Ян Сунь". Архивировано из оригинал на 2014-01-04. Получено 2019-06-13.
- ^ Исаак Г. Каунцилл В архиве 17 мая 2014 г. Wayback Machine
- ^ Цзымин Чжуан В архиве 28 декабря 2007 г. Wayback Machine
- ^ Ян Сунь, З. Чжуан, И. Сунцилл, К.Л. Джайлз, Определение предвзятости поисковых систем из файла robots.txt В архиве 2015-04-02 в Wayback Machine, Материалы Международной конференции IEEE / WIC / ACM по веб-аналитике (WI 2007), 149-155, 2007.
- ^ http://www.zoomwebmedia.com/search-engine-optimization.php
- ^ BotSeer? - Форумы поисковых систем с лучшими методами SEO
- ^ Тест поведения и производительности веб-роботов на Wayback Machine (архивировано 22 декабря 2008 г.) (вместо несвязанный текущий сайт )
внешние ссылки
- "BotSeer: Robots.txt и поисковая система веб-сканера". Архивировано из оригинал на 2010-02-08. Получено 2011-12-11.