|
Наверняка многие уже сталкивались с тем фактом, что Wordpress умеет создавать нагрузку на хостинг и чаще всего совсем неоправданную.
Есть несколько способов ее уменьшения и сейчас мы рассмотрим один из них, а точнее избавимся от ненужных роботов.
1. Открываем файл index.php и после <?php пишем
if(
strpos($_SERVER['HTTP_USER_AGENT'], ‘Dolphin/1.0′) !== false
|| strpos($_SERVER['HTTP_USER_AGENT'], ‘crawl’) !== false
)die(‘fuck off robot!’);
2. Если хотим запретить робота Рамблера, то вместо предидущего примера вписываем
if(
strpos($_SERVER['HTTP_USER_AGENT'], ‘Dolphin/1.0′) !== false
|| strpos($_SERVER['HTTP_USER_AGENT'], ‘crawl’) !== false
|| strpos($_SERVER['HTTP_USER_AGENT'], ‘StackRambler’) !== false
)die(‘fuck off robot!’);
3. создаем файл robots.txt и помещаем его в корне сайта, содержимое:
User-Agent: *
Disallow: /
User-Agent: Yandex
Disallow:
User-Agent: Googlebot
Disallow:
Вот такими нехитрыми манипуляциями мы разрешили роботам Yandex и Google индексировать сайт сколько угодно, остальные будут блокироваться.
Важно: Это работает только для пауков, котороые представляются роботами, для остальных надо будет делать отдельно и по другому.
 Поддержка  Работа с различными CMS WordPress
| 
