WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
25 Сентябрь 2017, 05:51:23 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
от salemed (SMM для сайта)
от Елена12 (Контент, копирайтинг, переводы)
от WantGirls (Финансы)
от Yula (Нужна помощь по сайтам)
от osesakuf (Новичку)
от osesakuf (Yandex)
от osesakuf (Юкоз (ucoz))
от Bukvarix (Сервисы и SEO программы)
от CPAgetti (CPA-сети)
от WantGirls (Наши сайты)
от Уля67 (Обо всем)
от polyakovka (Мотивация)
от DPavelV (Работа и услуги)
от jemochka (Покупка-продажа)
от Zevss (Обмен ссылками)
Свежие темы
Показать ещё
  Печать  
Страниц: 1
Автор

Тема: Помогите,пожалуйста! Новый сайт попал в индекс и вылетел благодаря роботс.тхт  (Прочитано 2931 раз)

0 Пользователей и 1 Гость смотрят эту тему.
oksi
Offline Offline

Сообщений: 528



Просмотр профиля
« : 16 Июнь 2013, 17:08:18 »

В общем такая ситуация. У меня есть новый сайт, он был проиндексирован дня два назад, но почти сразу же все урл со статьями вылетели из индекса. В гугл вебмастерс пишется, что они заблокированы благодаря роботс.тхт.

Вот мой роботс:

User-agent: *
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /author/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Disallow: /*page
Disallow: /2012
Disallow: /2013

User-agent: Mediapartners-Google
Disallow:
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /author/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Disallow: /*page
Disallow: /2012
Disallow: /2013

Host: ............

Помогите, пожалуйста, разобраться  Грустный
Записан


Ивица
Offline Offline

Сообщений: 296


Просмотр профиля
« Ответ #1 : 18 Май 2015, 14:14:49 »

похожая ситуация. убитца ап стену

Девочки, кто недавно делился проверенным роботс, не могу сейчас найти по темам.
поделитесь плиз..
тоже какие-то траблы с ним случились.

спасибо.
Записан
prikhodko_eu
Offline Offline

Пол: Женский
Сообщений: 2128



Просмотр профиля
« Ответ #2 : 18 Май 2015, 15:23:40 »

Я делилась, в чем проблема с роботс?
Записан

J77
И создал Бог женщину. Существо получилось вредное, но забавное...
Offline Offline

Пол: Женский
Сообщений: 3757



Просмотр профиля
« Ответ #3 : 18 Май 2015, 15:50:43 »

Какая структура урлов у вас?
Вот этим что вы закрываете:
Disallow: /*?
Disallow: /*?*
Это зачем если сайт новый:
Disallow: /2012
Disallow: /2013
?
Нельзя просто так взять любой роботс и сказать - вот это проверенный и применить его к своему сайту. Есть строки, которые будут совпадать из-за особенностей движка, остальные строки должны закрывать конкретно не нужные вам страницы, их состав будет зависеть от особенностей вашего сайта.
Записан

Краткий план на 2015-16 год: Родить, заработать, переехать.....
Я очень быстро составляю СЯ . А вы?
MaRt
SEO
Offline Offline

Пол: Мужской
Сообщений: 2272



Просмотр профиля
« Ответ #4 : 18 Май 2015, 20:07:24 »

Disallow: /*?*
Disallow: /*?
уберите это и будет все ок
Записан

Портал о недвижимости

Продвижение вашего бизнеса в интернете
dileta10
Не шалю, никого не трогаю...
Offline Offline

Пол: Женский
Сообщений: 984


Я - Лена. Нужно на "Ты".


Просмотр профиля
« Ответ #5 : 19 Май 2015, 00:54:43 »

Вот не хотела вмешиваться, но обратите внимание на дату поста Подмигивающий
Записан

J77
И создал Бог женщину. Существо получилось вредное, но забавное...
Offline Offline

Пол: Женский
Сообщений: 3757



Просмотр профиля
« Ответ #6 : 19 Май 2015, 10:38:47 »

похожая ситуация.
18 Мая 2015, 10:14:49 »
пиво
Записан

Краткий план на 2015-16 год: Родить, заработать, переехать.....
Я очень быстро составляю СЯ . А вы?
Ивица
Offline Offline

Сообщений: 296


Просмотр профиля
« Ответ #7 : 19 Май 2015, 18:13:38 »

Вот не хотела вмешиваться, но обратите внимание на дату поста Подмигивающий

Девочки, ну может для ТС уже не актуально, но по идее зачем дубли темы.
я, задав в поиске - решила просто продолжить аналогичный вопрос.

у меня просто творится сейчас что-то невообразимое.
Цитировать
HTTP-статус: Ресурс не найден (404) ? 25
Документ запрещен в файле robots.txt ? 811?
Документ содержит мета-тег noindex ? 231?

мб эта картинка не дает ничего понять..


но мне кажется, что-то с роботс связано.
изначально был пустой. по совету поставила вот такой.
Цитировать
User-agent: Yandex
Disallow: /ofis/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/backup-f9bcc
Disallow: /wp-content/backups-dropbox
Disallow: /wp-content/cache
Disallow: /wp-content/languages
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/upgrade
Disallow: /comment_tag/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /feed
Disallow: */feed
Disallow: /?feed=
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /cgi-bin
Disallow: /comments
Disallow: */comments
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Disallow: /20*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Allow: /wp-content/uploads
Allow: /author/*

User-agent: *
Disallow: /ofis/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/backup-f9bcc
Disallow: /wp-content/backups-dropbox
Disallow: /wp-content/cache
Disallow: /wp-content/languages
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/upgrade
Disallow: /comment_tag/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /feed
Disallow: */feed
Disallow: /?feed=
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /cgi-bin
Disallow: /comments
Disallow: */comments
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Disallow: /20*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

Allow: /wp-content/uploads

User-agent: Googlebot-Image
Disallow:
Allow: /*

User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Host: www.********
Sitemap: http://www.**********.xml.gz
Sitemap: http://www.**********/sitemap.xml

разобраться самой не подсилу. трафа ноль. страницы выпадают из поиска.
я что-то натворила не то? убитца ап стену
есть ли в нем ошибки, запреты на инд-ю нужных страниц.

спасибо огромное  всем уделившим внимание. дарю цветочек
Записан
prikhodko_eu
Offline Offline

Пол: Женский
Сообщений: 2128



Просмотр профиля
« Ответ #8 : 19 Май 2015, 21:23:15 »

Ивица, я могу ошибаться, но у вас закрыт /2015 , это текущий год, и, возможно, новые записи попадают в эту папку.
Записан

Ивица
Offline Offline

Сообщений: 296


Просмотр профиля
« Ответ #9 : 19 Май 2015, 23:41:17 »

prikhodko_eu, да? ужас какой.. Шокирован
поделились в личке..
спасибо огромное Nadejдарю цветочек
надеюсь на положительные изменения.
Записан
Страниц: 1
  Печать  
 
Перейти в:  

| Sitemap