WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
03 Декабрь 2016, 23:39:56 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
Re: Готовые статьи на тему "Красота и здоровье" недорого. от Yula (Контент, копирайтинг, переводы)
Re: CPA-сеть Hotpartner.biz от kuprum (CPA-сети)
Re: Нужны копирайтеры на постоянную работу! от ZAS (Ищу копирайтера, редактора, контент-менеджера)
Re: Дизайн от новичка от LanaSvetNik (Дизайн)
Онлайн-консультант Jivosite со скидкой до 20% от KeyWebRu (Хостинг)
Создать тест-опрос в Гугл Документах (или ваш вариант) от Anonyff (Работа и услуги)
Re: AdBean - Бобовая тизерная сеть. Новостные и товарные тизеры. До 90% отчислений! от AdBean (Реклама и доход)
Re: Подарю, продам или сдам в аренду домены от June (Домены)
Автоматизация Яндекс Директ + возврат 8% от рекламного бюджета. от Александр_26 (Полезное)
Re: Quick Sender - Комбайн для продвижения в ВКонтакте от Dima_Myrzich (Социальные сети)
Re: Марафон Спарта от Пузата - Почему я иду от Katelite (Обучение сайтостроению, SEO и заработку)
Re: Чистенький женский СДЛ. Размещение в авто от uckpa (Платное размещение статей и ссылок)
Re: [Анонс] Программа для группировки ключевых слов KeyAssort от KeyAssort (Сервисы и SEO программы)
Re: Имеют ли вес покупные ссылки при теперешних правилах Яндекса от Lina7 (Раскрутка сайтов в поисковиках)
Re: Насколько необходим онлайн консультант на сайте? от fainna (Юзабилити)
Свежие темы
Показать ещё
  Печать  
Страниц: 1
Автор

Тема: Поисковые боты - давайте поделимся списками  (Прочитано 1373 раз)

0 Пользователей и 1 Гость смотрят эту тему.
Dreamy
Offline Offline

Сообщений: 1155



Просмотр профиля
« : 22 Январь 2013, 23:10:56 »

У меня выросла нагрузка на сайте, стала читать про оптимизацию. Первое, что советуют - отсечь ненужных поисковых ботов. Как говорят, это может снизить нагрузку на 40% и даже больше.
Техподдержка на хостинге мне посоветовала в файл htaccess добавить запреты для юзер-агентов. Я списочек немного расширила, до такого вида:

Код:
## Блокировка по USER AGENT:
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]

Но сегодня изучала лог, и вижу там неохваченных ботов. Можно, конечно, самому каждый день логи проверять, но это же адская работа. Давайте поделимся!

Для удобства отсортировала по алфавиту.  строим глазки

Записан

Страниц: 1
  Печать  
 
Перейти в:  

| Sitemap