Обнаружение проблем узлов (shturval-npd)

О сервисе #

Назначение #

shturval-npd сообщает Kubernetes о проблемах на узлах кластера. На каждом узле Linux работает демон node-problem-detector: он находит проблему и записывает её в API-сервер, в conditions и Event объекта Node. Демон работает как DaemonSet.

Пока на узле нет проблем, Kubernetes назначает новые поды на рабочий узел. Как только node-problem-detector заметит проблему и запишет об этом в Node, на проблемный узел перестанут назначаться новые поды. Примеры, что может обнаружить демон node-problem-detector:

• на узле недоступен NTP;
• неисправны процессор, память или диск;
• зависло ядро или повреждена файловая система;
• не отвечает среда выполнения контейнеров.

По умолчанию демон читает сообщения ядра из /dev/kmsg и журнала /var/log, после чего проставляет conditions в Node. Файлы мониторов вшиты в образ в каталоге /config. По умолчанию в shturval-npd входят мониторы: kernel-monitor.json (мониторинг зависание ядра, остановки XFS, аппаратной ошибки), readonly-monitor.json (мониторинг файловой системы). Метрики доступны на порту 20257, serviceMonitor выключен.

Сервис не входит в группу быстрой установки — может быть установлен только в развернутом кластере. Конфигурацию вы можете задать в customvalues при установке сервиса или через ShturvalServicePatch (SSP), когда сервис установлен в кластере.

Где настраивать #

Сервисы и репозитории → Доступные чарты → чарт shturval-npd → Установить.

Если сервис уже установлен: Установленные сервисы → shturval-npd → Управлять.

Conditions #

Когда shturval-npd установлен с настройкой по умолчанию, на узлах Linux запускается демон, который добавляет к Node conditions:

На Node при этом остаются стандартные conditions Kubernetes: Ready, MemoryPressure, DiskPressure, PIDPressure и NetworkUnavailable.

Чтобы мониторить на узлах частые перезапуски kubelet, docker и containerd, доступность container runtime и kubelet, а также ожидание освобождения сетевого устройства, задайте customvalues или примените SSP к установленному сервису. Пример ниже добавляет в Node такие conditions:

Параметры для конфигурации сервиса #

apiVersion: ops.shturval.tech/v1beta2
kind: ShturvalServicePatch
metadata:
  name: shturval-npd-monitors
spec:
  shturvalServiceConfigName: shturval-npd
  customvalues:
    extraVolumeMounts:
      - mountPath: /var/run/containerd/containerd.sock
        name: containerd
        readOnly: true
      - mountPath: /bin/crictl
        name: crictl
        readOnly: true
    extraVolumes:
      - name: containerd
        hostPath:
          path: /var/run/containerd/containerd.sock
          type: Socket
      - name: crictl
        hostPath:
          path: /bin/crictl
          type: File
    hostNetwork: true
    settings:
      custom_plugin_monitors:
        - /config/health-checker-containerd.json
        - /config/systemd-monitor-counter.json
        - /config/kernel-monitor-counter.json
        - /config/network-problem-monitor.json
        - /config/health-checker-kubelet.json
      extraArgs:
        - --config.system-stats-monitor=/config/system-stats-monitor.json
      log_monitors:
        - /config/kernel-monitor.json
        - /config/readonly-monitor.json
        - /config/systemd-monitor.json

Как развернуть этот сервис — Как развернуть новый сервис.