WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
24 Август 2017, 06:18:58 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
от salemed (SMM для сайта)
от vanillamuss (Обмен ссылками)
от support PS (CPA-сети)
от Dara (Дизайн)
от EduCash (Реклама и доход)
от skylar (Платное размещение статей и ссылок)
от margotgrete (Работа и услуги)
от HostiMan (Хостинг)
от Ljuljak (Контент, копирайтинг, переводы)
от Bukvarix (Сервисы и SEO программы)
от Web Master (Теория и практика)
от KsaAZaks (Покупка-продажа)
от axe222 (Нужна помощь по сайтам)
от Reginka (Болталочка=))
от Mill_7 (Сайты)
Свежие темы
Показать ещё
  Печать  
Страниц: 1
Автор

Тема: Поисковые боты - давайте поделимся списками  (Прочитано 1466 раз)

0 Пользователей и 1 Гость смотрят эту тему.
Dreamy
Offline Offline

Сообщений: 1155



Просмотр профиля
« : 22 Январь 2013, 23:10:56 »

У меня выросла нагрузка на сайте, стала читать про оптимизацию. Первое, что советуют - отсечь ненужных поисковых ботов. Как говорят, это может снизить нагрузку на 40% и даже больше.
Техподдержка на хостинге мне посоветовала в файл htaccess добавить запреты для юзер-агентов. Я списочек немного расширила, до такого вида:

Код:
## Блокировка по USER AGENT:
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]

Но сегодня изучала лог, и вижу там неохваченных ботов. Можно, конечно, самому каждый день логи проверять, но это же адская работа. Давайте поделимся!

Для удобства отсортировала по алфавиту.  строим глазки

Записан

Страниц: 1
  Печать  
 
Перейти в:  

| Sitemap