WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
23 Май 2017, 14:49:23 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
от BeeWoman (Контент, копирайтинг, переводы)
от vsemaykiadmin (CPA-сети)
от Sergey12 (Работа и услуги)
от Alenta (Реклама и доход)
от Advelink (Платное размещение статей и ссылок)
от Loria (Google AdSENSE)
от fler (Дизайн)
от polyakovka (Новичку)
от polyakovka (Раскрутка сайтов в поисковиках)
от polyakovka (Обо всем)
от Bukvarix (Сервисы и SEO программы)
от jangogo (Особенности работы с разными CMS)
от jangogo (Хостинг)
от Direct kupon com (Покупка-продажа)
от OlgaGetman (Наши сайты)
Свежие темы
Показать ещё
  Печать  
Страниц: 1
Автор

Тема: Поисковые боты - давайте поделимся списками  (Прочитано 1433 раз)

0 Пользователей и 1 Гость смотрят эту тему.
Dreamy
Offline Offline

Сообщений: 1155



Просмотр профиля
« : 22 Январь 2013, 23:10:56 »

У меня выросла нагрузка на сайте, стала читать про оптимизацию. Первое, что советуют - отсечь ненужных поисковых ботов. Как говорят, это может снизить нагрузку на 40% и даже больше.
Техподдержка на хостинге мне посоветовала в файл htaccess добавить запреты для юзер-агентов. Я списочек немного расширила, до такого вида:

Код:
## Блокировка по USER AGENT:
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]

Но сегодня изучала лог, и вижу там неохваченных ботов. Можно, конечно, самому каждый день логи проверять, но это же адская работа. Давайте поделимся!

Для удобства отсортировала по алфавиту.  строим глазки

Записан

Страниц: 1
  Печать  
 
Перейти в:  

| Sitemap