← All website monitoring tools
Dark Visitors
Аналитика поисковых роботов и агентов на основе AI и генератор robots.txt — бесплатный список ботов, платная аналитика логов от $49/mo.
Free tier: free AI-bot list and robots.txt generator
What it does well
- Предоставляет бесплатный, полный и регулярно обновляемый список user-агентов ИИ-краулеров.
- Включает простой генератор robots.txt для блокировки определённых ботов из списка.
- Платный сервис предлагает прямой анализ лог-файлов для идентификации трафика ботов.
- Фокусируется на новой проблеме скрапинга контента ИИ-системами.
Where it falls short
- Инструмент новый, основан в 2024 году, и имеет ограниченную историю эксплуатации.
- Анализ логов — платная функция, стоимость которой может быть существенной для небольших проектов.
- Это не инструмент для блокировки в реальном времени или обеспечения безопасности, а только сервис для идентификации и составления отчетов.
- Эффективность зависит от соблюдения ботами файла robots.txt, что не всегда гарантируется.
Alternatives to Dark Visitors
Cloudflare AI Audit
freemiumПанель управления ботами Cloudflare AI и режим борьбы с ботами — входят в состав тарифных планов Cloudflare.
Подготовка к работе с AI-агентами «под ключ» — llms.txt + AI robots.txt + MCP card + OpenAPI. От $79 единоразово.
isitagentready.com
freeБесплатный сканер от Cloudflare для оценки готовности кода к работе с AI-агентами — получите оценку и промпты для исправления проблем.
Бесплатный валидатор содержимого llms.txt — проверяет соответствие спецификации и пригодность к сканированию.