WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
05 Декабрь 2016, 00:18:55 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
Ищу копирайтера на постоянную работу. Тематика: цветы, сад, огород от Violet-Lady (Ищу копирайтера, редактора, контент-менеджера)
Re: Интересные статьи из буржунета (переводы) + Рерайтинг + Копирайтинг от semnat (Контент, копирайтинг, переводы)
Re: Партнерка Vsemayki.ru - 25% с продаж. Отличный конверт 1 к 20 от vsemaykiadmin (CPA-сети)
Доска объявлений версии 2.2 от Diana101 (Сайты)
Re: Дизайн от новичка от LanaSvetNik (Дизайн)
Онлайн-консультант Jivosite со скидкой до 20% от KeyWebRu (Хостинг)
Создать тест-опрос в Гугл Документах (или ваш вариант) от Anonyff (Работа и услуги)
Re: AdBean - Бобовая тизерная сеть. Новостные и товарные тизеры. До 90% отчислений! от AdBean (Реклама и доход)
Re: Подарю, продам или сдам в аренду домены от June (Домены)
Автоматизация Яндекс Директ + возврат 8% от рекламного бюджета. от Александр_26 (Полезное)
Re: Quick Sender - Комбайн для продвижения в ВКонтакте от Dima_Myrzich (Социальные сети)
Re: Марафон Спарта от Пузата - Почему я иду от Katelite (Обучение сайтостроению, SEO и заработку)
Re: Чистенький женский СДЛ. Размещение в авто от uckpa (Платное размещение статей и ссылок)
Re: [Анонс] Программа для группировки ключевых слов KeyAssort от KeyAssort (Сервисы и SEO программы)
Re: Имеют ли вес покупные ссылки при теперешних правилах Яндекса от Lina7 (Раскрутка сайтов в поисковиках)
Свежие темы
Показать ещё
  Печать  
Страниц: 1
Автор

Тема: HELP! Резко возросла нагрузка!  (Прочитано 2939 раз)

0 Пользователей и 1 Гость смотрят эту тему.
Katya13
Хочу на море (ни разу не была...)
Offline Offline

Пол: Женский
Сообщений: 1177


Будь оригинальной - добьешься успеха и вершины!


Просмотр профиля
« : 03 Апрель 2015, 12:42:59 »

Со вчерашнего дня резко возсросла нагрузка, уже сегодня дошло до 200СР Плачущий

Хостер дал такие данные:
  1979  178.154.243.96 
  1775  37.140.141.26   
  1068  78.46.174.55   
  1060  37.140.141.35   
   560  5.255.253.13   
   298  95.108.157.251 
   203  5.255.253.142   
   100  188.195.111.139
где в первых рядах айпи ЯндексБота, я в шоке, что делать в такой ситуации?
Записан

Olga_FO
Offline Offline

Пол: Женский
Сообщений: 1297



Просмотр профиля
« Ответ #1 : 03 Апрель 2015, 14:32:06 »

Если это из-за Яндекса то можно ограничение для робота поставить в robots.txt. Прописать Crawl-delay
Записан

Заказываю статьи
Katya13
Хочу на море (ни разу не была...)
Offline Offline

Пол: Женский
Сообщений: 1177


Будь оригинальной - добьешься успеха и вершины!


Просмотр профиля
« Ответ #2 : 03 Апрель 2015, 15:01:03 »

Если это из-за Яндекса то можно ограничение для робота поставить в robots.txt. Прописать Crawl-delay
тоже сначала подумала об этом, а потом в логах глянула, ошибки увидела 404.
Записан

Kimin
Offline Offline

Сообщений: 306


Просмотр профиля WWW
« Ответ #3 : 03 Апрель 2015, 15:31:56 »

Яндекс боты вряд ли так будут колбасить сайт. Обычно идет оповещение в почту, что роботам не удалось получить доступ к сайту, бывало. Да, первая строка - очень похоже, их подсеть, 178. А вот все ниже может быть обычным накликиванием, особенно - если преимущественно СНГ-траф. Тогда 100% зловреда.
Записан

MaRt
SEO
Offline Offline

Пол: Мужской
Сообщений: 2268



Просмотр профиля
« Ответ #4 : 03 Апрель 2015, 17:22:34 »

Crawl-delay: 1
Записан

Портал о недвижимости

Продвижение вашего бизнеса в интернете
prikhodko_eu
Offline Offline

Пол: Женский
Сообщений: 2128



Просмотр профиля
« Ответ #5 : 03 Апрель 2015, 17:25:39 »

Сделайте Crawl-delay 5 для всех ботов. А вообще нужно проверить, все ли они - яндекса. Иногда так маскируют лже-ботов под какие-то известные.
Записан

Katya13
Хочу на море (ни разу не была...)
Offline Offline

Пол: Женский
Сообщений: 1177


Будь оригинальной - добьешься успеха и вершины!


Просмотр профиля
« Ответ #6 : 03 Апрель 2015, 17:27:01 »

третий айпи точно Германия, я его сразу заблокировала, а вот 2ой, 4й и 5й - это Яндекс, по 2ip.ru проверяла
Записан

prikhodko_eu
Offline Offline

Пол: Женский
Сообщений: 2128



Просмотр профиля
« Ответ #7 : 03 Апрель 2015, 17:32:30 »

А откуда ошибки 404?
Записан

zurkevich
Offline Offline

Сообщений: 16


Просмотр профиля
« Ответ #8 : 04 Апрель 2015, 23:36:28 »

Ботов не по 2ip  проверять нужно, Вот официальная документация
Записан
Florentina
Offline Offline

Пол: Женский
Сообщений: 243



Просмотр профиля
« Ответ #9 : 05 Апрель 2015, 03:09:08 »

Katya13 у вас на хостинге к сайту подключена статистика? Что-то типа Awstats? Если да, то воспользуйтесь ей и посмотрите статистику хитов и скаченных мегабайт до повышения нагрузки и после.

P.S. Кстати, у вас в ночь со 2 на 3 не проводились у хостера профилактические работы на дисковой подсистеме сервера?
« Последнее редактирование: 05 Апрель 2015, 03:52:03 от Florentina » Записан
Katya13
Хочу на море (ни разу не была...)
Offline Offline

Пол: Женский
Сообщений: 1177


Будь оригинальной - добьешься успеха и вершины!


Просмотр профиля
« Ответ #10 : 05 Апрель 2015, 10:13:46 »

Ботов не по 2ip  проверять нужно, Вот официальная документация http://help.yandex.ru/webmaster/robot-workings/check-yandex-robots.xml#robot-in-logs
судя по этому списку, заходит вот это бот  Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) — основной индексирующий робот;

Katya13 у вас на хостинге к сайту подключена статистика? Что-то типа Awstats? Если да, то воспользуйтесь ей и посмотрите статистику хитов и скаченных мегабайт до повышения нагрузки и после.

P.S. Кстати, у вас в ночь со 2 на 3 не проводились у хостера профилактические работы на дисковой подсистеме сервера?
логи собираются, Авастат тоже есть, а что в нем именно смотреть? Работы проводились с 27 на 28 марта
Записан

Florentina
Offline Offline

Пол: Женский
Сообщений: 243



Просмотр профиля
« Ответ #11 : 05 Апрель 2015, 15:00:36 »

логи собираются, Авастат тоже есть, а что в нем именно смотреть? Работы проводились с 27 на 28 марта

Как я понимаю, вы живете на Бегете. У меня там повысилась нагрузка в два раза сразу после проведения работ и уже 10 дней никто не может найти причину.

По поводу Awstats. К сожалению на этом хостере нет возможности использовать его со статистикой по дням и часам, но даже и в этой конфигурации он более менее пригоден.

Первым делом посмотрите соотношение отображаемого и не отображаемого трафика в первой таблице. Сравните это соотношение с предыдущими месяцами. В этом плане хорошо, что у вас проблема началась с начала месяца.

Далее в таблице "День месяца", оцените объемы и хиты. Сравните их с днями с одинаковым посещением до возникновения проблемы.

Прожорливые IP можете посмотреть в таблице "Хосты", а некоторых роботов в таблице "Роботы/Пауки". Также стоит посмотреть, нет ли аномально востребованных страниц вашего сайта. Все это сравниваете с предыдущими месяцами.

В самой последней таблице оцените то, что вызывает ошибку 404. У меня боты пытались подобрать пароль через xmlrpc, поэтому в htaccess его пришлось закрыть

<Files xmlrpc.php>
Order Deny,Allow
Deny from all
</Files>

Также боты почему-то искали у меня файлы links.php и download.php их я тоже закрыла

<Files links.php>
Order Deny,Allow
Deny from all
</Files>

<Files download.php>
Order Deny,Allow
Deny from all
</Files>

судя по этому списку, заходит вот это бот  Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) — основной индексирующий робот;

Если у вас, объемы скаченные YandexBot (или вообще не отображаемого трафика) значительно меньше, чем объемы отображаемого трафика, то вряд ли этот робот создает вам очень большую нагрузку. У вас CP выросло скачком и если причина тому YandexBot или другой поисковики, то оцените средний скаченный объем этим роботом в день. А потом сравните с предыдущими месяцами.

А так от избыточной нагрузки поисковиков вас спасет или Crawl-delay или грамотно настроенный кеш на сайте. Однако смущает, скачкообразный рост CP и если сейчас браться за кеш, то вы так и не поймете причину.
« Последнее редактирование: 05 Апрель 2015, 22:59:38 от Florentina » Записан
Katya13
Хочу на море (ни разу не была...)
Offline Offline

Пол: Женский
Сообщений: 1177


Будь оригинальной - добьешься успеха и вершины!


Просмотр профиля
« Ответ #12 : 06 Апрель 2015, 16:34:03 »

Florentina спасибо!
Записан

Nata1483
Offline Offline

Пол: Женский
Сообщений: 2



Просмотр профиля WWW
« Ответ #13 : 27 Октябрь 2016, 08:54:01 »

Девочки привет! Такая беда у меня случилась, вообще не знаю, что теперь делать(( Вчера утром, падал сервер. Сайт не работал,написала хостерам, они ответили, что скоро устранят проблему. Довольно скоро, действительно, вроде как заработало. Но тут же началась какая то фантастика. Начала расти нагрузка, превысила лимит (хотя никакой активности на форуме не было). В итоге лимит увеличла вдвое, но снова нагрузка приблизилась к верхней границе. При попытке открыть тему форума - ошибка 502. Сегодня нагрузка снизилась, но все равно достаточно высокая. Ошибка 502 так никуда и не делась. Пробовала откатить файлы сайта на 4 дня назад, все без толку. Может кто из вас сталкивался с такой проблемой?
Записан

Страниц: 1
  Печать  
 
Перейти в:  

| Sitemap