Закрываем свои сетки от посторонних глаз

Сейчас развелась масса сервисов типа Ahrefs, с помощью которых любой пытливый ум может запалить вашу сетку чуть более чем полностью. Лично меня это не устраивает, и я решил закрыть все свои сателлиты с помощью robots.txt

В сети найти нормального примера не удалось, поэтому сам пробежался по всем мало-мальски известным бэклинк чекерам, и собрал небольшую базу.

Итак, имена ботов:

  • majesticseo.com – MJ12bot
  • ahrefs.com – AhrefsBot
  • solomono.ru – SolomonoBot
  • seomoz.org – rogerbot
  • semrush.com – SemrushBot
  • blekko.com – Blekkobot

Итого добавляем в robots.txt:

user-agent: MJ12bot
disallow: /

user-agent: AhrefsBot
disallow: /

user-agent: SolomonoBot
disallow: /

user-agent: rogerbot
disallow: /

user-agent: SemrushBot
disallow: /

user-agent: Blekkobot
disallow: /

backlinkwatch.com, opensiteexplorer.org, ibacklinkpro.com – эти пидорасы скрывают названия своих ботов:) Может кто знает? Черканите в комментах.

Также добавляйте в комментах ботов, которые я забыл упомянуть. Мелочь всякую можно не трогать, а вот средние и крупные по мощностям сервисы – пригодятся.

Есть конечно и альтернативный хардкорный метод – запретить в robots.txt всех ботов, кроме гугла, яху и мсна.

You can leave a response, or trackback from your own site.

4 Responses to “Закрываем свои сетки от посторонних глаз”

  1. DimaX says:

    1) “Есть конечно и альтернативный хардкорный метод – запретить в robots.txt всех ботов, кроме гугла, яху и мсна.” – это как, disallow всех и Allow указанных трех?

    2) Уверен, что все перечисленные боты в посте слушаются роботса? Если бы я делал ахрефс, я бы для вида конечно называл своих ботов, но если встречал в роботсе запрет, то приходил бы с обычным ЮА с менее настырными настройками и потихоньку все равно парсил бы)) У этих сервисов же одно из конкурентных преимуществ максимально полная база, потому вряд ли они будут такие прям законопослушные)

    • seohead says:

      1) Ага, disallow всех:)

      2) Ну например маджестиксео – проверенно слушается. А база больше от мощностей зависит имхо, а не от роботс.тхт

  2. drupalfun says:

    Ещё

    exabot
    dotbot
    gigabot

  3. ladymsk says:

    Поставили,

    user-agent: AhrefsBot
    disallow: /

    но бот все равно ходит…

Оставить комментарий, или два