Please unblock file names and access for the Yandex robot

Hosting Support
1

Здравствуйте.

Мой сайт harest.ru находится на вашем хостинге. Столкнулся с двумя проблемами, которые, вероятно, связаны с настройками безопасности сервера.

  1. Файлы dom.html, contacts.html, admin.html возвращают ошибку 403.
    Файлы существуют, другие файлы (например, index.html, kvartira-centr.html) открываются нормально. Если переименовать эти файлы (например, в dom-page.html), они становятся доступны. Это говорит о том, что имена dom.html, contacts.html, admin.html попали в список блокировки.
    Прошу разблокировать эти имена. Это обычные HTML-страницы, содержащие информацию об аренде жилья, без какого-либо вредоносного кода.

  2. Робот Яндекса (YandexBot) получает 403 Forbidden при обращении к любой странице сайта.
    Проверка через Яндекс.Вебмастер показывает, что главная страница и другие страницы недоступны для робота (код 403). В обычном браузере сайт открывается.
    Прошу разрешить доступ для User-Agent: YandexBot и YandexWebmaster. Это необходимо для корректной индексации сайта в поиске Яндекса.

Сайт используется для легального бизнеса — аренда жилья. Пожалуйста, помогите снять эти ограничения. Если потребуется дополнительная информация, готов предоставить.

Спасибо.

2

Hello. Welcome to the forum.

So for the file problem, please clear your browser cache, it might have some cache that auto redirect your page to 404 page. To test the link quickly with no cache, please press Ctrl Shift N to open incognito window and test your page there

For yandex search, Infinityfree have blocked that becuase Yandex send too much requests to the web server, causing lots of unnecessary requests that slow down other free website so please use Google Search or Bing or DuckDuckGo.

3

Firstly, please note that this is an English language forum, so please write your messages in English. Feel free to use machine translation if you’re not confident in your own English skill.

As for the two issues you’re having

Regarding the supposed file name blocks: The dom.html, contacts.html and admin.html pages are all working fine from here. I don’t get a 403 error, and these URLs should not be blocked on our end.

Regarding the Yandex issues: Those are by design, unfortunately: Yandex crawlers are deliberately blocked on our hosting.

Yandex crawlers are very aggressive and were causing excessive server load on our hosting. Meanwhile, Yandex is only popular in a few countries, so for our platform as a whole (which has users and visitors all over the world) the number of legitimate visitors was very small. So the cost of supporting Yandex’s crawlers was simply too high.

6 Likes