Открываем только обычные сайты
Проверяем адреса по протоколам http и https и только на стандартных портах. Ссылки, которые ведут во внутреннюю сеть или на служебные адреса хостинга, отклоняются сразу — ещё до того, как мы куда-то постучимся.
Безопасность
Аудит обращается к чужому сайту, поэтому безопасность здесь важнее полноты проверки. Ниже — что мы делаем, чтобы ничего не сломать и не навредить.
Проверяем адреса по протоколам http и https и только на стандартных портах. Ссылки, которые ведут во внутреннюю сеть или на служебные адреса хостинга, отклоняются сразу — ещё до того, как мы куда-то постучимся.
Перед загрузкой смотрим, на какой адрес на самом деле указывает имя сайта. Если сайт резолвится одновременно и на публичный, и на внутренний адрес, проверка не запускается. Соединение идёт строго на проверенный адрес.
Переходы по редиректам проверяются по одному, и их количество ограничено. Так исключены случаи, когда сайт уводит проверку туда, куда не следует.
Проверки выполняются отдельным процессом, у которого нет доступа к нашим служебным адресам, базе данных и внутренним сервисам. На каждую задачу есть лимит по времени и по количеству запросов.
Мы только смотрим. Не отправляем формы, не входим в аккаунты, не подбираем пароли, не нагружаем сайт и не пытаемся эксплуатировать уязвимости.
Есть лимиты на число запросов, глубину обхода и время проверки. Между запросами к вашему сайту выдерживается пауза, а правила robots.txt мы уважаем.
Если адрес отклонён политикой (внутренняя сеть, служебный порт, неожиданный переход), это видно в хронологии прогона. Отчёт не притворяется «страница недоступна» — причина указана.
Одновременно у пользователя не больше двух проверок в работе, объём снимков ограничен, а у каждой проверки — лимиты на время, страницы и запросы.