WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
22 Январь 2017, 22:12:44 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
от MAzZY (Работа и услуги)
от injnnak22 (Реклама и доход)
от Kri-kri (Ищу копирайтера, редактора, контент-менеджера)
от shkoda86 (Контент, копирайтинг, переводы)
от DesignPro (Дизайн)
от Ninok-sb (Платное размещение статей и ссылок)
от Loki_Dex (Особенности работы с разными CMS)
от Петрова (Новичку)
от Bukvarix (Сервисы и SEO программы)
от Loki_Dex (Наши сайты)
от Pomazyka (Семья)
от salemed (Социальные сети)
от FreeZe (Покупка-продажа)
от Holly (Тизерные и баннерные сети)
от vuxaru (Пожелания к администрации форума)
Свежие темы
Показать ещё
  Печать  
Страниц: 1
Автор

Тема: Поисковые боты - давайте поделимся списками  (Прочитано 1404 раз)

0 Пользователей и 1 Гость смотрят эту тему.
Dreamy
Offline Offline

Сообщений: 1155



Просмотр профиля
« : 22 Январь 2013, 23:10:56 »

У меня выросла нагрузка на сайте, стала читать про оптимизацию. Первое, что советуют - отсечь ненужных поисковых ботов. Как говорят, это может снизить нагрузку на 40% и даже больше.
Техподдержка на хостинге мне посоветовала в файл htaccess добавить запреты для юзер-агентов. Я списочек немного расширила, до такого вида:

Код:
## Блокировка по USER AGENT:
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]

Но сегодня изучала лог, и вижу там неохваченных ботов. Можно, конечно, самому каждый день логи проверять, но это же адская работа. Давайте поделимся!

Для удобства отсортировала по алфавиту.  строим глазки

Записан

Страниц: 1
  Печать  
 
Перейти в:  

| Sitemap