Дашборд кластера

Дашборд кластера динамически изменяется. После нажатия инициализации создания кластера и до момента завершения развертывания кластера дашборд представляет собой первую версию. По завершении развертывания - вторую. Ниже представлено описание каждой версии.

Дашборд кластера до завершения развертывания кластера #

В верхней части отображается название кластера.

Доступна только вкладка “Кластер”.

В левой верхней части вкладки “Кластер” отображается блок “Статус развертывания кластера”, на котором по мере развертывания кластера можно отследить готовность инфраструктуры, состояния (conditions) Control Plane-узлов и Worker-узлов, установку сервисов и применение NCI на узлы кластера. Общая информация о статусной модели развертывания кластеров на странице здесь.

Данные обновляются автоматически по мере развертывания кластера.

Дашборд развернутого кластера #

В верхней части отображается название кластера. Под названием расположены дата и время создания кластера, статус, conditions.

Доступны вкладки:

• Кластер;
• Аннотации;
• События;
• Логи;
• Сертификаты;
• Метеринг.

Все вкладки дашборда автоматически обновляются для максимально быстрого предоставления актуальных сведений о главных объектах кластера.

Доступны кнопки просмотра статистики, логов, перехода в Argo CD:

• По кнопке Статистика открывается интерфейс внешнего модуля мониторинга (Grafana). Происходит SSO авторизация.

• По кнопке Argo CD открывается интерфейс модуля непрерывной доставки приложений (Argo CD). Происходит SSO авторизация.

Обратите внимание! Кнопки будут отображаться, только если соответствующие модули установлены и работают, а также пользователь имеет права доступа, позволяющие осуществить переход.

1. Кнопка Статистика отображается, если установлены и включены сервисы:

• в вашем кластере Компонент управления модуля мониторинга (Victoria Metrics Agent) (shturval-metrics-collector);
• в кластере управления Модуль графического отображения метрик (Grafana) (shturval-dashboards) и Модуль мониторинга. Централизованный сбор метрик (Victoria Metrics) (shturval-monitoring).

2. Кнопка Argo CD отображается, если в вашем кластере установлен и включен Модуль непрерывной доставки приложений (ArgoCD) (shturval-cd).

Доступно создание информационного сообщения (баннера), который будет отображаться для всех пользователей при работе с кластером в графическом интерфейсе. Иконка для размещения информационного сообщения доступна в правом верхнем углу страницы “Дашборд” кластера.

Вкладка Кластер #

Блок “Группы узлов кластера” содержит сведения о группах узлов. При нажатии на название блока произойдет переход на страницу Управление узлами.

В блоке доступна информация:

• название группы;
• провайдер;
• количество узлов в группе;
• готовность узлов в графическом виде.
• количество подов в группе.

Каждый зеленый элемент представляет сведения об узле в статусе “Ready”, каждый красный об узле в статусе “NotReady”. Если в группе больше шести узлов, вместо графических элементов будет отображено числовое отношение здоровых узлов к запрошенному количеству.

Блок “Описание” содержит информацию о кластере, заданной в процессе создания кластера, а также сведения о пользователе, создавшем кластер.

Блок “Обновление кластера” содержит сведения об установленной версии кластера. В кластере доступен ручной и автоматизированный запуск обновления.

Блок “Сервисы” содержит счетчики установленных, включенных и работающих сервисов с разделением на общее количество и количество критических сервисов.

Верхний ряд счетчика кликабелен. При нажатии на название блока или на число счетчика происходит переход на страницу Установленные сервисы кластера.

Блок “Алертинг” содержит сведения о сработавших алертах в разрезе по уровню важности оповещения.

При нажатии на название блока или на числовое значение счетчика происходит переход на страницу Просмотр оповещений кластера. Раздел не отображается, если в кластере не установлен или отключен модуль локального сбора метрик, а в кластере управления не установлен или отключен модуль централизованного хранения метрик.

Приостановка реконсиляции инфраструктуры (Paused) #

Приостановка реконсиляции инфраструктуры кластера временно останавливает применение изменений и проверок в машинах/узлах кластера. Все запрашиваемые изменения записываются в очередь и будут применены после возобновления реконсиляции.

Приостановка реконсиляции инфраструктуры доступна администратору кластера и администратору платформы. Для управления перейдите на дашборд кластера.

Приостановка может быть необходима в разных ситуациях.

Пример #

Если у вас в кластере для группы узлов установлен MachineHealthCheck и вам необходимо изменить сайзинг машины, не выводя узел из группы, вы можете приостановить реконсиляцию инфраструктуры, изменить сайзинг машины и возобновить реконсиляцию. MachineHealthCheck не будет реагировать на временную недоступность узла.

Как приостановить и возобновить #

1. На дашборде кластера в блоке Описание у поля Реконсиляция инфраструктуры нажмите Приостановить.
2. Чтобы снять паузу, нажмите Возобновить реконсиляцию инфраструктуры.

После возобновления изменения, которые накопились за время паузы, будут применены.

Команды выполняются в кластере управления. Неймспейс совпадает с именем кластера. В манифесте объекта Cluster паузе соответствует поле spec.paused.

# Приостановить реконсиляцию кластера
kubectl -n <имя-кластера> patch cluster <имя-кластера> --type=merge -p '{"spec":{"paused":true}}'

# Снять реконсиляцию с паузы
kubectl -n <имя-кластера> patch cluster <имя-кластера> --type=merge -p '{"spec":{"paused":false}}'

1. Получите токен по инструкции.

2. Отправьте запрос POST /api/v1/clusters/<имя-кластера>/paused.

# Приостановить реконсиляцию кластера
curl -k -s -L --request POST "$BACKENDPOINT/api/v1/clusters/<имя-кластера>/paused" \
  --header "Authorization: Bearer $token" \
  --header "Content-Type: application/json" \
  --data-raw '{"paused":true}'

# Возобновить реконсиляцию кластера
curl -k -s -L --request POST "$BACKENDPOINT/api/v1/clusters/<имя-кластера>/paused" \
  --header "Authorization: Bearer $token" \
  --header "Content-Type: application/json" \
  --data-raw '{"paused":false}'

Вкладка Аннотации #

В списке кластеров на вкладке “Кластеры” доступна сортировка по признаку. Чтобы присвоить признак кластеру, добавьте аннотацию с ключом tag.

Для этого перейдите на страницу “Дашборд” кластера. На вкладке “Аннотации”, которая содержит список всех аннотаций кластера, нажмите + для добавления аннотации. В появившемся модальном окне введите tag в поле “Ключ” и необходимый признак в поле “Значение”. Сохраните ваши данные, нажмите “Сохранить” и признак к кластеру будет добавлен.

Для удаления аннотации нажмите на крестик выбранной аннотации и подтвердите действие.

После внесения изменений в перечень аннотаций нажмите “Сохранить”.

Пример

Вы хотите сортировать кластеры по признаку окружения со значениями prod или test. В этом случае, при добавлении аннотации кластера укажите в поле Ключ tag, а в поле Значение prod. Для следующего кластера добавьте аннотацию с ключом tag и значением test. При необходимости создайте аннотации для всех ваших кластеров.

Поддерживаются аннотации на русском и английском языках. В списке кластеров доступна сортировка и фильтрация по присвоенному признаку (аннотации с ключом tag).

Вкладка События #

Вкладка “События” содержит сведения о событиях всех объектов кластера (дата и время, источник события, объект, индикатор типа события, текст события).

Вкладка Логи #

Если в кластере включен сервис локального сбора логов Vector (shturval-log-collector) и в кластере управления работает Компонент управления модуля мониторинга (Victoria Metrics Agent) (shturval-metrics-collector), то на вкладке “Логи” отображаются собранные логи.

В VLogs под логи создаются соответствующие проекты (ProjectID). В интерфейсе платформы доступна фильтрация по ProjectID:

• kube system namespaces: системные логи /var/log/containers/*.log;
• cluster namespace: логи нагрузок неймспейса кластера в кластере управления;
• kube events: логи событий всех объектов кластера;
• kube audit: логи событий безопасности кластера;
• journald: логи shturvald (containerd);
• auditd: системные логи аудита.

Логи в проектах сгруппированы по стримам (stream), которые представляет собой перечень логов с уникальным набором параметров. Параметр состоит из "поле": "значение" лога. Наименование стрима соответствует значению поля _stream. В интерфейсе доступны счетчики по количеству логов и стримов в проекте.

Обратите внимание! Логи аутентификации, авторизации, назначения прав доступа, а также логи, связанные с инфраструктурой, находятся в кластере управления.

На вкладке “Логи” есть возможность:

1. получить сведения по логам:

   • за последние 15 минут;
   • за последние 30 минут;
   • за последний час. Выбрано по умолчанию;
   • за весь день;
   • за выбранный диапазон времени.

2. Скачать полный log файл или с учетом настроенных фильтров. Скачивание происходит в файл с расширением .log, название которого предзаполнено и формируется согласно: префикс Logs, дата загрузки и количество записей.

3. Выполнить поиск логов несколькими способами:

   • Поиск по тексту логов

Для поиска используйте шаблон параметр:значение_параметра через двоеточие и без пробелов. Например: kubernetes.pod_name:shturval-local-csi-node-6g6nh или kubernetes.pod_name:shturval-local-csi-node. Поддерживается возможность поиска по нескольким ключам, для этого используйте разделитель |, например, message.level:warning | message.id:1. Поиск происходит внутри выбранного ProjectID в выборке, соответствующей временному диапазону.

• Поиск с помощью параметров логов

Для фильтрации по параметрам нажмите на + рядом с заголовком Параметры поиска. В открывшимся окне выберите из выпадающего списка поле, по которому необходимо отфильтровать логи, оператор и укажите значение.

Доступные операторы для фильтра значений поля:

• AND (И) - в выборку попадут логи, у которых есть заданное поле, включающее все перечисленные значения. Когда указано только одно значение, оператор работает как =.
• OR (ИЛИ) - в выборку попадут логи, у которых есть заданное поле, включающее как минимум одно из перечисленных значений. Когда указано только одно значение, оператор работает как =.
• NOT (НЕТ)- исключает логи с заданным полем, содержащим перечисленные значения.
• = (Равно) - в выборку попадут логи с заданным полем и соответствующим значением. Когда перечислено несколько значений, оператор работает по принципу логического AND (И).

Обратите внимание!

1. При поиске по параметрам:
   • заданные параметры фильтрации объединены между собой по принципу логического оператора AND (И). Например, если заданы параметры: message.level=warning и message.id=1, то отобразятся логи, соответствующие обоим условиям;
   • в перечень для настройки параметров попадут поля логов, предварительно отфильтрованные по проекту, временному диапазону и поиску по тексту. В случае, если в перечне вы не нашли требуемое поле, измените преднастроенные фильтры;
   • поиск по параметрам может осуществляться по частичному совпадению в значениях полей, за исключением специальных параметров. Например, если задан парамер kubernetes.pod_name=kub, в выборку попадут логи, у которых поле kubernetes.pod_name содержит комбинацию kub.

2. Одновременный поиск по параметрам и тексту работает согласно логическому оператору AND (И).

Если в кластере установлены расширенные настройки безопасности, то в кластере пишутся события безопасности и в VLogs создается соответствующий проект c ProjectID: kube audit. Сведения о событиях соответствуют правилам настроенной политики аудита событий в кластере Kubernetes AuditPolicy.

Расширенные настройки безопасности доступны для выбора при добавлении кластера. Узнать, есть ли в кластере расширенные настройки безопасности можно на вкладке “Кластер” дашборда кластера.

Вкладка Сертификаты #

Вкладка “Сертификаты” содержит сведения о всех сертификатах кластера, которые формируются на основе данных Модуля проверки сертификатов API Kubernetes. По каждому сертификату вы можете просмотреть:

• дату истечения срока действия;
• количество оставшихся дней действия сертификата.

Вкладка Метеринг #

Метеринг в кластере - упрощённое представление биллинга в разрезе неймспейсов. В платформе “Штурвал” реализовано долгосрочное хранение метрик (до года) неймспейсов для кластеров в отдельном инстансе VictoriaMetrics. Для каждого неймспейса записывается расход CPU/час и RAM/час.

На вкладке “Метеринг” есть возможность получить сведения об израсходованных ресурсах по неймспейсу:

• за последний час;
• за последнюю неделю;
• за последний месяц;
• за последний год;
• за выбранный диапазон времени.

Вкладка Доступность сервисов #

На вкладке “Доступность сервисов” отображаются карточки ключевых системных компонентов (сервисов) кластера.

По каждому сервису вы можете получить данные:

• статус доступности сервиса на текущий момент времени (цветовая индикация);
• процент доступности сервиса: среднее значение доступности за последний час, выраженное в процентах;
• наименование Helm-чарта сервиса;
• неймспейс, в котором установлен экземпляр сервиса.

При нажатии на кнопку Управлять осуществляется переход на страницу просмотра и редактирования сервиса.

Для клиентских кластеров и кластера управления состав сервисов отличается. Вкладка доступна, если в кластере (клиентском, кластере управления) включен локальный сбор метрик Модуль мониторинга. Компонент управления модуля мониторинга (VM Agent) (shturval-metrics-collector) и в кластере управления Модуль мониторинга. Централизованный сбор метрик (Victoria Metrics) (shturval-monitoring).

Также отследить статус доступности сервисов на текущий момент времени можно в разделе Администрирование на странице Установленные сервисы.