February 15th, 2013 
seohead Сейчас развелась масса сервисов типа Ahrefs, с помощью которых любой пытливый ум может запалить вашу сетку чуть более чем полностью. Лично меня это не устраивает, и я решил закрыть все свои сателлиты с помощью robots.txt
В сети найти нормального примера не удалось, поэтому сам пробежался по всем мало-мальски известным бэклинк чекерам, и собрал небольшую базу.
Итак, имена ботов:
- majesticseo.com – MJ12bot
- ahrefs.com – AhrefsBot
- solomono.ru – SolomonoBot
- seomoz.org – rogerbot
- semrush.com – SemrushBot
- blekko.com – Blekkobot
Итого добавляем в robots.txt:
user-agent: MJ12bot
disallow: /user-agent: AhrefsBot
disallow: /user-agent: SolomonoBot
disallow: /user-agent: rogerbot
disallow: /user-agent: SemrushBot
disallow: /user-agent: Blekkobot
disallow: /
backlinkwatch.com, opensiteexplorer.org, ibacklinkpro.com – эти пидорасы скрывают названия своих ботов:) Может кто знает? Черканите в комментах.
Также добавляйте в комментах ботов, которые я забыл упомянуть. Мелочь всякую можно не трогать, а вот средние и крупные по мощностям сервисы – пригодятся.
Есть конечно и альтернативный хардкорный метод – запретить в robots.txt всех ботов, кроме гугла, яху и мсна.
Posted in
1) “Есть конечно и альтернативный хардкорный метод – запретить в robots.txt всех ботов, кроме гугла, яху и мсна.” – это как, disallow всех и Allow указанных трех?
2) Уверен, что все перечисленные боты в посте слушаются роботса? Если бы я делал ахрефс, я бы для вида конечно называл своих ботов, но если встречал в роботсе запрет, то приходил бы с обычным ЮА с менее настырными настройками и потихоньку все равно парсил бы)) У этих сервисов же одно из конкурентных преимуществ максимально полная база, потому вряд ли они будут такие прям законопослушные)
1) Ага, disallow всех:)
2) Ну например маджестиксео – проверенно слушается. А база больше от мощностей зависит имхо, а не от роботс.тхт
Ещё
exabot
dotbot
gigabot
Поставили,
user-agent: AhrefsBot
disallow: /
но бот все равно ходит…