42 SSH-задачи в очереди из-за sudo с 10-секундной задержкой
В панели управления серверами SSH-задачи встали в очередь — 42 задачи, новые ждали несколько минут. Причина: каждый sudo ждал 10 секунд из-за отсутствия имени сервера в /etc/hosts. Это прямое следствие для администраторов: проверяйте резолвинг хостов, иначе автоматизация встанет.
В панели управления серверами, которая ходит на них по SSH, в сентябре начала забиваться очередь задач. В ней стояло 42 задачи, и новые ждали старта по несколько минут. Проблема была на пяти серверах, подключенных в тот же день: прогон мониторинга на них занимал от 1 до 4 минут, тогда как на остальных — от 3 до 23 секунд. При этом сами серверы были почти без нагрузки: load average на одном из них составлял 0,06.
Медленными оказались только шаги с sudo. Команда sudo true, которая ничего не делает, на проблемном сервере выполнялась 10,1 секунды. При запуске sudo резолвит (разрешает) имя машины. Если имени нет в /etc/hosts, запрос уходит в DNS (систему доменных имен). На этих серверах имя поменяла сама панель через hostnamectl set-hostname, но строку в /etc/hosts не добавила. В результате sudo не находил адрес, писал предупреждение в stderr и выходил с кодом 0, поэтому задача считалась успешной.
На других серверах стоял systemd-resolved, который отвечает на запросы о своем имени сам, без обращения к внешним DNS. Новые серверы были у другого хостера, в образе Ubuntu которого /etc/resolv.conf был статичным, без systemd-resolved, с двумя внешними DNS и стандартными настройками glibc: таймаут 5 секунд и 2 попытки. Каждый запрос, на который не пришел ответ, стоил 5 секунд. В итоге каждый sudo ждал 10 секунд.
Проблему решили, прописав в /etc/hosts на серверах строку 127.0.1.1 с именем сервера. Прогон мониторинга сократился до 12–19 секунд, а данные Fail2Ban стали приходить за 1–3 секунды вместо 40. Затем это исправили в коде панели: она теперь пишет строку в /etc/hosts до смены имени. Средний прогон мониторинга по всем серверам стал 4,1 секунды вместо 20,5, самый долгий — 9,4 секунды вместо 279. Для администраторов, меняющих имя сервера скриптами или берущих серверы из образов без systemd-resolved, вывод прост: проверять резолвинг хостов, иначе автоматизация встанет.
Первоисточник
Новость подготовлена с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.