В современных условиях кибербезопасности настройка блокировок и фильтров — обязательная мера для любого сайта или проекта. Nginx, как один из самых популярных веб-серверов, позволяет эффективно блокировать вредоносные и ненужные запросы: спамеры, парсеры, DDoS-боты, сканеры дыр, прокси, сервисы автоматизации и так далее. Но слишком “жёсткая” защита часто оборачивается тем, что под блокировку попадают нужные и полезные сервисы, без которых сайт или бизнес может реально потерять деньги, трафик, или репутацию.
Почему важно не переборщить с блокировками?
Почти каждый, кто хоть раз внедрял фильтрацию ботов, сталкивался с тем, что сайт перестаёт индексироваться, перестаёт приходить почта от клиентов, не работает мониторинг, ломаются интеграции с платёжками или CRM, не приходят лиды из рекламы и т.д.
Типичные ошибки:
•блокировка поисковых роботов (Googlebot, YandexBot, Bingbot);
•отрубили сервисы аналитики и виджеты (Google Analytics, Facebook Pixel, Яндекс.Метрика);
•забанили мониторинг аптайма (UptimeRobot, Pingdom, Jetmon, StatusCake и др.);
•попали под раздачу корпоративные прокси или API, с которых реально идут клиенты;
•легли оповещения из Telegram, WhatsApp, e-mail.
Реальные кейсы — не редкость: на форуме webmasters часто появляются темы “Почему меня нет в поиске?”, “Почему перестал работать чат?”, “Падает uptime из-за самозащиты” — а причина банальна: в блок попали нужные боты.
Как это выглядит “вживую”
•SEO-специалист включает строгий deny по user-agent и IP, а потом два месяца не может понять, почему сайт не индексируется, позиции падают, трафик исчезает.
•Владелец магазина подключил новую платёжку — а транзакции не проходят, потому что сервер платёжки заблокирован по IP firewall’ом.
•Менеджер по продажам не видит новых заявок — потому что вебхуки из CRM не могут достучаться до сайта.
Какие боты и сервисы нужно добавить в исключения?
Для удобства разделим на несколько категорий.
ВАЖНО: список ниже не является исчерпывающим — конкретные нужды могут отличаться в зависимости от вашей ниши и инфраструктуры. Всегда сверяйтесь с документацией сервисов, которыми пользуетесь.
1. Поисковые роботы (Search Engines)
•Googlebot — индексация Google, user-agent Googlebot, IP-диапазоны меняются, официально публикуются здесь.
•Bingbot — индексация Bing и Yahoo, user-agent Bingbot.
•YandexBot — поисковая система Яндекс, user-agent YandexBot.
•DuckDuckBot — бот DuckDuckGo, user-agent DuckDuckBot.
•BaiduSpider — поисковик Baidu, важен для трафика из Китая.
•Sogou Spider — популярный в Китае, user-agent Sogou web spider.
Современные поисковые системы часто используют целые сети IP-адресов, поэтому надёжнее всего проверять user-agent и периодически обновлять whitelist по IP.
2. Боты коммерческих сервисов и агрегаторов
•AhrefsBot, SemrushBot, Moz, Majestic — SEO-анализаторы, мониторинг ссылок, индексации и позиций.
•UptimeRobot, Pingdom, Jetmon, StatusCake — сервисы мониторинга аптайма, следят за доступностью вашего сайта 24/7.
•Google PageSpeed Insights, GTmetrix, WebPageTest — инструменты проверки скорости и оптимизации.
•SimilarWeb, BuiltWith — сканеры для анализа трафика и технологий.
3. Сервисы аналитики и рекламные системы
•Google Analytics/Tag Manager — иногда обращаются к сайту для валидации кода.
•Яндекс.Метрика — для корректной работы целей и событий.
•Facebook/Meta Pixel — синхронизация конверсий.
4. Корпоративные интеграции и API
•Telegram Bot API — если у вас есть чат-боты, уведомления или формы обратной связи через Telegram.
•WhatsApp Business API, Viber — мессенджеры для оповещений или поддержки клиентов.
•Платёжные системы (CloudPayments, ЮKassa, Stripe, PayPal и др.) — список IP публикуется на официальных страницах (например, IP для Stripe, CloudPayments, ЮKassa).
•SMS-шлюзы — для получения уведомлений и верификации пользователей (например, Twilio, Nexmo).
5. Почтовые сервисы и уведомления
•Mailgun, SendGrid, Amazon SES — отправка писем с сайта.
•Mail.ru, Gmail, Yandex — часто у них есть свои проверки доступности для фильтрации спама.
6. Разработческие и CI/CD инструменты
•GitHub Actions, GitLab CI, Bitbucket Pipelines — если у вас деплой через CI/CD, эти IP/агенты должны быть whitelisted.
•Netlify, Vercel, Cloudflare Workers — внешние сервисы, которые пушат или пингуют ваш сайт.
Как добавлять исключения? Пример настройки в Nginx
Рекомендуется комбинировать проверку по user-agent и по IP, если это возможно.
Пример whitelist по user-agent:
map $http_user_agent $good_bot { default 0; "~*Googlebot" 1; "~*Bingbot" 1; "~*YandexBot" 1; "~*DuckDuckBot" 1; "~*AhrefsBot" 1; "~*SemrushBot" 1; "~*Pingdom" 1; "~*UptimeRobot" 1; "~*StatusCake" 1;}server { ... if ($good_bot) { break; } # Далее идут правила для блокировки ботов if ($http_user_agent ~* "(curl|wget|python|scan|libwww|nikto|masscan)") { return 403; } ...}Пример whitelist по IP:
geo $good_ip { default 0; 66.249.64.0/19 1; # Googlebot пример 207.46.0.0/16 1; # Bingbot пример 95.108.128.0/17 1; # YandexBot пример}server { ... if ($good_ip) { break; }}Не храните большие списки прямо в конфиге Nginx — лучше подключать их как external include-файлы.
Где брать актуальные списки полезных ботов и их IP?
•Официальные страницы документации сервисов (Google, Яндекс, Stripe и т.д.).
•Каталоги “good bots”: bot.incolumitas.com, user-agents.net.
•Профильные чаты/форумы: Telegram @hstq_hosting (мы обновляем списки под ваши задачи), сайты типа hosters.ru, webmaster forums, StackOverflow, Github репозитории “awesome-bots”.
Ошибки при whitelisting’е — что делать?
1.Не добавляйте в исключения подозрительные агенты “якобы” от Google/Yandex, если нет верификации по IP. Подделка user-agent — любимая фишка злоумышленников.
2.Не whitelist’ьте всё подряд — только тех, кто реально нужен вашему бизнесу.
3.Проверяйте работоспособность после изменений — используйте сервисы вроде UptimeRobot, Google Search Console, test tools от Metriка.
4.Не забывайте о регулярном обновлении: IP-диапазоны ботов меняются!
Автоматизация и лучшие практики
Сервисы типа https://hstq.net/dnsbl-check.html помогут быстро проверить IP на предмет наличия в spam/blacklist.
Используйте Ansible/Сhef для автоматического обновления whitelist из внешних источников.
Раз в месяц делайте аудит: кто реально заходит на ваш сайт и почему.
В случае сомнений — проконсультируйтесь со специалистами поддержки через Telegram @hstq_hosting: мы поможем собрать актуальный whitelist под ваши нужды, настроить мониторинг и исключить риски “потери бизнеса из-за фильтрации”.
Почему стоит доверить защиту и поддержку HSTQ?
В команде HSTQ работают специалисты, которые ежедневно сталкиваются с задачами защиты сайтов и инфраструктуры клиентов по всему миру. Мы знаем все “подводные камни” настройки фильтрации и whitelisting’а — и умеем находить баланс между жёсткой защитой и бесперебойной работой вашего бизнеса.
Подберём и настроим оптимальный whitelist под ваши задачи (поддержка популярных и редких сервисов, подборка по вашим логам, консультации 24/7).
Обеспечим защиту от вредоносных и нежелательных ботов, сохранив доступ для поисковиков, платёжек, корпоративных сервисов.
Гибкая настройка под любой стек — Nginx, Apache, Cloudflare, собственные решения.
Не нашли нужный сервис в списке? Просто напишите нам — и мы добавим его без доплат.
Связаться для консультации:
Telegram: @hstq_hosting
Сайт: hstq.net
Правильно настроенный whitelist — это залог того, что ваш сайт останется видимым для поисковых систем, защищённым для бизнеса и доступным для клиентов. Ошибки на этапе фильтрации могут стоить дорого — потерянного трафика, клиентов, продаж, позиций в поиске и репутации.
Доверьте эту задачу профи: команда HSTQ поможет выстроить грамотную стратегию защиты и поддержки вашего проекта, подберёт актуальный whitelist, объяснит детали, и настроит автоматизацию на будущее. Не рискуйте бизнесом — защитите его правильно!
P.S. Статья написана экспертами HSTQ. Полный цикл: консультация, аудит, настройка фильтров и мониторинга под ваш проект — по запросу в Telegram @hstq_hosting или на сайте hstq.net.
