Дашборд кластера

Дашборд кластера динамически изменяется. После нажатия инициализации создания кластера и до момента завершения развертывания кластера дашборд представляет собой первую версию. По завершении развертывания - вторую. Ниже представлено описание каждой версии.

Дашборд кластера до завершения развертывания кластера #

В верхней части отображается название кластера. Под названием расположены дата и время создания кластера.

Доступна только вкладка “Кластер”.

В левой верхней части вкладки “Кластер” отображается блок “Группы узлов кластера”, на котором по мере развертывания кластера можно отследить готовность узлов кластера. Блок содержит сведения о группах узлов.

В блоке доступна информация:

• название группы;
• провайдер;
• количество узлов в группе;
• готовность узлов в графическом виде.

Каждый зеленый элемент представляет сведения об узле в статусе “Ready”, каждый красный об узле в статусе “NotReady”.

Под блоком “Группы узлов кластера” расположен блок “Описание”, который содержит информацию о кластере, заданной в процессе создания кластера, а также сведения о пользователе, создавшем кластер.

В правой части экрана расположен блок “Статус кластера”. Данные обновляются автоматически по мере развертывания кластера.

Дашборд развернутого кластера #

В верхней части отображается название кластера. Под названием расположены дата и время создания кластера, статус, conditions.

Доступны вкладки:

• Кластер;
• Аннотации;
• События;
• Логи;
• Сертификаты;
• Метеринг.

Все вкладки дашборда автоматически обновляются для максимально быстрого предоставления актуальных сведений о главных объектах кластера.

Доступны кнопки просмотра статистики, логов, перехода в Argo CD:

• По кнопке Статистика открывается интерфейс внешнего модуля мониторинга (Grafana). Происходит SSO авторизация.

• По кнопке Argo CD открывается интерфейс модуля непрерывной доставки приложений (Argo CD). Происходит SSO авторизация.

Обратите внимание! Кнопки будут отображаться, только если соответствующие модули установлены и работают, а также пользователь имеет права доступа, позволяющие осуществить переход.

1. Кнопка Статистика отображается, если установлены и включены сервисы:

• в вашем кластере Компонент управления модуля мониторинга (Victoria Metrics Agent) (shturval-metrics-collector);
• в кластере управления Модуль графического отображения метрик (Grafana) (shturval-dashboards) и Модуль мониторинга. Централизованный сбор метрик (Victoria Metrics) (shturval-monitoring).

2. Кнопка Argo CD отображается, если в вашем кластере установлен и включен Модуль непрерывной доставки приложений (ArgoCD) (shturval-cd).

Доступно создание информационного сообщения (баннера), который будет отображаться для всех пользователей при работе с кластером в графическом интерфейсе. Иконка для размещения информационного сообщения доступна в правом верхнем углу страницы “Дашборд” кластера.

Вкладка Кластер #

Блок “Группы узлов кластера” содержит сведения о группах узлов. При нажатии на название блока произойдет переход на страницу Управление узлами.

В блоке доступна информация:

• название группы;
• провайдер;
• количество узлов в группе;
• готовность узлов в графическом виде.
• количество подов в группе.

Каждый зеленый элемент представляет сведения об узле в статусе “Ready”, каждый красный об узле в статусе “NotReady”. Если в группе больше шести узлов, вместо графических элементов будет отображено числовое отношение здоровых узлов к запрошенному количеству.

Блок “Описание” содержит информацию о кластере, заданной в процессе создания кластера, а также сведения о пользователе, создавшем кластер.

Блок “Обновление кластера” содержит сведения об установленной версии кластера. В кластере доступен ручной и автоматизированный запуск обновления.

Блок “Сервисы” содержит счетчики установленных, включенных и работающих сервисов с разделением на общее количество и количество критических сервисов.

Верхний ряд счетчика кликабелен. При нажатии на название блока или на число счетчика происходит переход на страницу Установленные сервисы кластера.

Блок “Алертинг” содержит сведения о сработавших алертах в разрезе по уровню важности оповещения.

При нажатии на название блока или на числовое значение счетчика происходит переход на страницу Просмотр оповещений кластера. Раздел не отображается, если в кластере не установлен или отключен модуль локального сбора метрик, а в кластере управления не установлен или отключен модуль централизованного хранения метрик.

Приостановка реконсиляции инфраструктуры (Paused) #

Приостановка реконсиляции инфраструктуры кластера временно останавливает применение изменений и проверок в машинах/узлах кластера. Все запрашиваемые изменения записываются в очередь и будут применены после возобновления реконсиляции.

Приостановка реконсиляции инфраструктуры доступна администратору кластера и администратору платформы. Для управления перейдите на дашборд кластера.

Приостановка может быть необходима в разных ситуациях.

Пример #

Если у вас в кластере для группы узлов установлен MachineHealthCheck и вам необходимо изменить сайзинг машины, не выводя узел из группы, вы можете приостановить реконсиляцию инфраструктуры, изменить сайзинг машины и возобновить реконсиляцию. MachineHealthCheck не будет реагировать на временную недоступность узла.

Как приостановить и возобновить #

1. На дашборде кластера в блоке Описание у поля Реконсиляция инфраструктуры нажмите Приостановить.
2. Чтобы снять паузу, нажмите Возобновить реконсиляцию инфраструктуры.

После возобновления изменения, которые накопились за время паузы, будут применены.

Команды выполняются в кластере управления. Неймспейс совпадает с именем кластера.

# Приостановить реконсиляцию кластера
kubectl -n <имя-кластера> patch cluster <имя-кластера> --type=merge -p '{"spec":{"paused":true}}'

# Снять реконсиляцию с паузы
kubectl -n <имя-кластера> patch cluster <имя-кластера> --type=merge -p '{"spec":{"paused":false}}'

1. Получите токен по инструкции.

2. Отправьте запрос POST /api/v1/clusters/<имя-кластера>/paused.

# Приостановить реконсиляцию кластера
curl -k -s -L --request POST "$BACKENDPOINT/api/v1/clusters/<имя-кластера>/paused" \
  --header "Authorization: Bearer $token" \
  --header "Content-Type: application/json" \
  --data-raw '{"paused":true}'

# Возобновить реконсиляцию кластера
curl -k -s -L --request POST "$BACKENDPOINT/api/v1/clusters/<имя-кластера>/paused" \
  --header "Authorization: Bearer $token" \
  --header "Content-Type: application/json" \
  --data-raw '{"paused":false}'

Вкладка Аннотации #

В списке кластеров на вкладке “Кластеры” доступна сортировка по признаку. Чтобы присвоить признак кластеру, добавьте аннотацию с ключом tag.

Для этого перейдите на страницу “Дашборд” кластера. На вкладке “Аннотации”, которая содержит список всех аннотаций кластера, нажмите + для добавления аннотации. В появившемся модальном окне введите tag в поле “Ключ” и необходимый признак в поле “Значение”. Сохраните ваши данные, нажмите “Сохранить” и признак к кластеру будет добавлен.

Для удаления аннотации нажмите на крестик выбранной аннотации и подтвердите действие.

После внесения изменений в перечень аннотаций нажмите “Сохранить”.

Пример

Вы хотите сортировать кластеры по признаку окружения со значениями prod или test. В этом случае, при добавлении аннотации кластера укажите в поле Ключ tag, а в поле Значение prod. Для следующего кластера добавьте аннотацию с ключом tag и значением test. При необходимости создайте аннотации для всех ваших кластеров.

Поддерживаются аннотации на русском и английском языках. В списке кластеров доступна сортировка и фильтрация по присвоенному признаку (аннотации с ключом tag).

Вкладка События #

Вкладка “События” содержит сведения о событиях всех объектов кластера (дата и время, источник события, объект, индикатор типа события, текст события).

Вкладка Логи #

Если в кластере включен сервис локального сбора логов Vector (shturval-log-collector) и в кластере управления работает Компонент управления модуля мониторинга (Victoria Metrics Agent) (shturval-metrics-collector), то на вкладке “Логи” доступны собранные логи.

В VLogs под логи создаются соответствующие проекты (ProjectID). В интерфейсе платформы доступна фильтрация по ProjectID:

• kube system namespaces: системные логи /var/log/containers/*.log;
• cluster namespace: логи нагрузок неймспейса кластера в кластере управления;
• kube events: логи событий всех объектов кластера;
• kube audit: логи событий безопасности кластера;
• journald: логи shturvald (containerd);
• auditd: системные логи аудита.

Обратите внимание! Логи аутентификации, авторизации, назначения прав доступа, а также логи, связанные с инфраструктурой, находятся в кластере управления.

На вкладке “Логи” есть возможность:

• выполнить поиск по тексту логов. Для поиска используйте шаблон параметр:значение_параметра через двоеточие и без пробелов. Например: kubernetes.pod_name:shturval-local-csi-node-6g6nh или kubernetes.pod_name:shturval-local-csi-node. Поддерживается возможность поиска по нескольким ключам, для этого используйте разделитель |, например, message.level:warning | message.id:1. Поиск происходит внутри выбранного ProjectID в выборке, соответствующей временному диапазону.
• получить сведения по логам:
  • за последние 15 минут;
  • за последние 30 минут;
  • за последний час;
  • за весь день;
  • за выбранный диапазон времени.
• скачать полный log файл или с учетом настроенных фильтров. Скачивание происходит в файл с расширением .log, название которого предзаполнено и формируется согласно: префикс Logs, дата загрузки и количество записей.

Если в кластере установлены расширенные настройки безопасности, то в кластере пишутся события безопасности и в VLogs создается соответствующий проект c ProjectID: kube audit. Сведения о событиях соответствуют правилам настроенной политики аудита событий в кластере Kubernetes AuditPolicy.

Расширенные настройки безопасности доступны для выбора при добавлении кластера. Узнать, есть ли в кластере расширенные настройки безопасности можно на вкладке “Кластер” дашборда кластера.

Вкладка Сертификаты #

Вкладка “Сертификаты” содержит сведения о всех сертификатах кластера, которые формируются на основе данных Модуля проверки сертификатов API Kubernetes. По каждому сертификату вы можете просмотреть:

• дату истечения срока действия;
• количество оставшихся дней действия сертификата.

Вкладка Метеринг #

Метеринг в кластере - упрощённое представление биллинга в разрезе неймспейсов. В платформе “Штурвал” реализовано долгосрочное хранение метрик (до года) неймспейсов для кластеров в отдельном инстансе VictoriaMetrics. Для каждого неймспейса записывается расход CPU/час и RAM/час.

На вкладке “Метеринг” есть возможность получить сведения об израсходованных ресурсах по неймспейсу:

• за последний час;
• за последнюю неделю;
• за последний месяц;
• за последний год;
• за выбранный диапазон времени.

Вкладка Доступность сервисов #

На вкладке “Доступность сервисов” отображаются карточки ключевых системных компонентов (сервисов) кластера.

По каждому сервису вы можете получить данные:

• статус доступности сервиса на текущий момент времени (цветовая индикация);
• процент доступности сервиса: среднее значение доступности за последний час, выраженное в процентах;
• наименование Helm-чарта сервиса;
• неймспейс, в котором установлен экземпляр сервиса.

При нажатии на кнопку Управлять осуществляется переход на страницу просмотра и редактирования сервиса.

Для клиентских кластеров и кластера управления состав сервисов отличается. Вкладка доступна, если в кластере (клиентском, кластере управления) включен локальный сбор метрик Модуль мониторинга. Компонент управления модуля мониторинга (VM Agent) (shturval-metrics-collector) и в кластере управления Модуль мониторинга. Централизованный сбор метрик (Victoria Metrics) (shturval-monitoring).

Также отследить статус доступности сервисов на текущий момент времени можно в разделе Администрирование на странице Установленные сервисы.