Статус развертывания кластера
Статус на дашборде кластера до завершения развертывания.
Развертывания кластера содержит несколько шагов, см. иллюстрацию ниже.
После запуска создания клиентского кластера или инсталляции кластера управления ход процесса отображается на дашборде в блоке «Статус развертывания кластера». Данные обновляются автоматически, интерактивный режим дашборда позволяет отслеживать изменения по мере развёртывания кластера.
Дашборд доступен до завершения развертывания и показывает общий прогресс, а также состояние каждого этапа в динамике. Этапы не выполняются строго последовательно: часть проверок и операций может идти параллельно.
Пока кластер разворачивается, рядом с именем выводятся conditions, которые ещё не завершились успешно. Чтобы открыть полный список conditions и получить детальную информацию, нажмите «Показать подробнее».
В блоке развёртывания отображаются:
- провайдер инфраструктуры разворачиваемого кластера;
- версия платформы;
- версия Kubernetes;
- время последнего обновления данных — при инсталляции кластера управления;
- общий прогресс развёртывания по результатам успешного завершения этапов.
При инсталляции кластера управления, как только Control Plane инициализирован и получен адрес API-сервера, кластер управления становится доступен по статическому kubeconfig. Скачать его можно по кнопке «Скачать Kubeconfig».
Состояния этапов и управление динамическим режимом
| Состояние | Описание |
|---|---|
| Готово | Этап успешно завершён. |
| В процессе | Этап выполняется. Сведения обновляются каждые 5 сек. |
| Ожидает | Процесс выполнения этапа еще не начался. Сведения по этапу отсутствуют. |
| Терминальная ошибка | Этап завершился с ошибкой и инсталляция кластера дальше невозможна, см. подробнее причину и сообщение ошибки. |
На дашборде доступно управление режимом отображения данных по этапам — переключатель «Отображать динамически сведения этапов»:
- когда переключатель выключен (по умолчанию), отображаются только общий прогресс и статус этапа, а детальные сведения скрыты. Чтобы просмотреть подробную информацию, разверните нужный этап нажатием на его область;
- когда переключатель включён, сведения по этапам в процессе прохождения и/или с терминальной ошибкой выводятся на экран. Данные актуализируются по мере обновления информации развертывания кластера. Обновление данных выполняется каждые 5 сек;
- успешно завершенные этапы в обоих режимах объединяются в единый блок готовых этапов. Этап готовности кластера «Кластер готов» не включается в общий блок завершённых этапов;
- ожидающие этапы в обоих режимах остаются на дашборде свёрнутыми.
При необходимости вывода полной информации всех этапов статуса развертывания кластера нажмите «Развернуть все», чтобы скрыть — «Свернуть все».
Шаги развертывания
Ресурсы созданы
Создаются ресурсы, необходимые для развёртывания: неймспейс кластера в кластере управления и объект ClusterInfo.
Инфраструктура кластера готова
На этом этапе Cluster Manager ожидает появления condition InfrastructureReady:true у контроллера Cluster API. Это означает, что контроллер успешно связался с провайдером инфраструктуры.
Control Plane узлы инициализированы
На этом этапе отображается список узлов Control Plane: их адреса, статусы и conditions объектов Cluster API Machine, InfrastructureMachine и Node.
Сведения сгруппированы по узлам группы Control Plane. Каждый узел представлен отдельным блоком, в заголовке которого указаны:
- имя;
- IP-адрес;
- hostname;
- статус готовности.
Сведения по узлам, находящимся в процессе подготовки, отображаются в блоке этапа и обновляются по мере актуализации данных развертывания кластера. Изменения наглядно демонстрируют текущее состояние развертывания кластера.
Сведения успешно подготовленных узлов и/или отдельных объектов автоматически сворачиваются и пропадают с экрана этапа. При необходимости подробные сведения можно просмотреть, нажав на общий статус готовности.
Для каждого объекта Cluster API Machine, InfrastructureMachine и Node доступны сведения: имя, состояние и его статус, причина состояния, сообщение с подробностями состояния, время последнего изменения состояния.
Объекты Cluster API Machine и InfrastructureMachine находятся в кластере управления. Объект Node появляется в целевом кластере после подготовки машины и регистрации kubelet.
Worker узлы созданы
На этом этапе отображается список Worker-узлов: их адреса, статусы и conditions объектов Cluster API Machine, InfrastructureMachine и Node.
Сведения сгруппированы по двум уровням: сначала по группам, затем по узлам. Каждый узел представлен отдельным блоком, в заголовке которого указаны:
- имя;
- IP-адрес;
- hostname;
- статус готовности.
Сведения по узлам, находящимся в процессе подготовки для кластера, отображаются в блоке этапа и обновляются по мере актуализации данных развертывания кластера. Изменения наглядно демонстрируют текущее состояние развертывания кластера.
Сведения успешно подготовленных узлов и/или отдельных объектов автоматически сворачиваются и пропадают с экрана этапа. При необходимости подробные сведения можно просмотреть, нажав на общий статус готовности.
Для каждого объекта Cluster API Machine, InfrastructureMachine и Node доступны сведения: имя, состояние и его статус, причина состояния, сообщение с подробностями состояния, время последнего изменения состояния.
Объекты Cluster API Machine и InfrastructureMachine находятся в кластере управления. Объект Node появляется в целевом кластере после подготовки машины и регистрации kubelet.
NCI применены
Отображается применение оператором shturval-node-config дефолтных конфигураций NodeConfigItem (NCI) к каждому узлу кластера:
| Колонка | Описание |
|---|---|
| Имя | Имя NCI, например, controlplane-init-config, controlplane-oidc-nci, generic-init-config. |
| Настроенные разделы | Перечень настроенных разделов конфигурации внутри NCI: Files, Users, KubeAPIServer, Packages, RuntimeCfg, Sysctl, SystemdUnits и другие разделы конфигурации. |
| Имя группы узлов | Группа, в которую входит узел. |
| Имя узла | Узел, к которому должна быть применена NCI. |
| Состояние | Состояние применения NCI к узлу. |
| Причина | Краткая причина состояния. |
| Сообщение | Подробности состояния или ошибки. |
| Дата и время получения состояния | Время последнего изменения состояния. |
Если кластер перешёл в готовое состояние раньше, чем установлены все NCI, после завершения развёртывания перечень NCI доступен в разделе Администрирование → Конфигурация узлов.
Системные сервисы установлены
На этапе выводится список сервисов репозитория Shturval и ход их установки.
Cluster Manager создаёт объекты ShturvalServiceConfig и ShturvalServicePatch (SSP) в соответствии с выбранными сервисами и настройками ClusterProfile. Сначала устанавливаются критически важные сервисы, затем — сервисы, выбранные при создании кластера. Этап завершается после установки обеих групп.
Установка сервисов выполняется в два этапа:
- Критически важные сервисы устанавливаются первыми. Их нельзя отключить. Для кластера управления это, в частности: shturval-backend, shturval-frontend, shturval-auth, сетевые компоненты, shturval-local-csi и другие сервисы из группы «Критические сервисы».
- Выбранные на шаге «Выбор сервисов» — устанавливаются после критических.
Этап «Установка сервисов репозитория Shturval» считается завершённым только после установки критически важных и выбранных на шаге «Выбор сервисов».
Сервисы, не выбранные при создании
Некоторые CRD сервисов, которые не были выбраны для автоматического включения:
- Устанавливаются в кластер в процессе развёртывания;
- Остаются отключёнными;
- Доступны в разделе Сервисы и репозитории → Установленные сервисы.
Так выполняется предварительная конфигурация. При последующем включении сервиса не потребуется ручная настройка — достаточно включить его в интерфейсе. После развертывания кластера можно устанавливать дополнительно сервисы. Подробнее в инструкции как развернуть новый сервис.
Параметры выбранных сервисов
Выбранные сервисы устанавливаются с:
- Версия — latest (для данной версии платформы);
- Режим — автоматическое управление (auto);
- Имя экземпляра принимает русскоязычное имя экземпляра сервиса, заданное в аннотации чарта.
Состав, версии и группировка сервисов зависят от версии платформы «Штурвал». Актуальный перечень сервисов репозитория Shturval, их групп быстрой установки и ролей приведён на странице «Сервисы репозитория Shturval».
Если при установке или обновлении сервиса возникает ошибка, сообщение выводится в conditions этапа статуса развертывания.
В заголовке этапа отображается количество установленных критических сервисов в формате установлено/всего и выводят сведения:
| Колонка | Описание |
|---|---|
| Имя сервиса | Название сервиса. |
| Имя чарта | Имя Helm-чарта, которым разворачивается сервис. |
| Критический | Является ли сервис критически важным для работы платформы, см. — Сервисы репозитория Shturval |
| Статус | Результат установки: «Установлен», «Не запущен», «Ошибка» или «Не установлен». |
| Причина | Причина и сообщение из последнего condition сервиса. |
| Дата и время получения состояния | Время последнего изменения condition. |
Доступны поиск по тексту, фильтры по статусу и критичности, а также сортировка по дате получения состояния. Кнопка настройки колонок позволяет скрыть необязательные колонки; колонка «Имя сервиса» отображается всегда.
Состав и назначение сервисов описаны на странице «Сервисы репозитория Shturval». Если кластер перешёл в готовое состояние раньше, чем установлены все сервисы, после развёртывания управление доступно в разделе Сервисы и репозитории → Установленные сервисы.
Репликация
Если этап входит в сценарий развёртывания кластера управления, отображаются его conditions.
Кластер готов
Итоговое состояние развёртывания:
- Когда кластер управления развернут, на этапе доступны для скачивания статический kubeconfig и URL для перехода в интерфейс платформы.
- По завершении развертывания клиентского кластера автоматически осуществляется переход на дашборд развернутого кластера.
Под капотом
Создание узлов
Между нажатием Создать кластер и переходом кластера в статус «Готов» платформа получает узлы кластера: инфраструктурная машина или хост, затем установка Kubernetes. Пошаговые поля мастера см. в детализации шагов мастера установки.
В платформе “Штурвал"есть две модели подготовки узлов:
Для провайдеров виртуализации и облаков платформа через соответствующий CAPI-провайдер запрашивает у среды создание инфраструктуры узла из указанного шаблона или образа (в терминах конкретного провайдера). Платформа не готовит шаблоны сама: подготовка ОС и утилитой stc, связь версии Kubernetes с шаблоном и добавление шаблона в экземпляр описаны на странице Подготовка шаблона провайдера.
При создании ВМ из шаблона платформа самостоятельно устанавливает Kubernetes выбранной версии. Шаблон ВМ хранит ОС и связанные ограничения по диску, но не хранит ресурсы CPU/RAM исходной ВМ, т.е. при создании ВМ из шаблона провайдер Cluster API запрашивает у провайдера инфраструктуры ресурсы в том объеме, который указывает администратор при инициализации кластера.
После развертывания кластера администратор также может переопределить параметры шаблонов узлов с помощью ресурса InfraMachineTemplate. Этот ресурс хранится в кластере управления и не создает шаблон (образ) на стороне виртуализации (или облака).
Кастомные ресурсы
Объекты Cluster API (CAPI) и инфраструктурных провайдеров описывают желаемое и фактическое состояние кластера и узлов; эти кастомные ресурсы находятся в кластере управления. Объект Node (узел) появляется в целевом кластере после поднятия bootstrap машины и регистрации kubelet.
Просмотр в GUI: Кастомные ресурсы в платформе. Иерархия и роли основных типов — в таблицах ниже. Связи владельца/зависимого в терминах CAPI см. в документации Cluster API (owner references).
Шаблоны инфраструктурных машин по провайдерам: InfraMachineTemplate. Самовосстановление узлов: MachineHealthCheck.
Ядро CAPI в платформе: Провайдер Cluster API (shturval-capi). Инфраструктурные провайдеры: vSphere (shturval-capvs), oVirt (shturval-capov), OpenStack (shturval-capos), Shturval v2 (shturval-capsm), Basis Dynamix (shturval-capbd), Yandex Cloud (shturval-capy), vCloud Director (shturval-capvcd). Настройка экземпляров провайдеров в UI: Как устроена работа с провайдерами.
Ниже перечислены группы API и Kind, используемые для жизненного цикла узлов.
cluster.x-k8s.io
| Кастомный ресурс | Назначение | Роль в жизненном цикле узла | Где подробнее |
|---|---|---|---|
| Cluster | Корневой объект CAPI, представляющий клиентский Kubernetes-кластер | Хранит ссылки на инфраструктурный кластер, Control Plane и группы Worker-узлов | Cluster API |
| ClusterClass | Шаблонная модель для описания однотипных кластеров | Не используется в платформе “Штурвал” | документация Cluster API |
| Machine | Представление одной машины/узла в модели CAPI | Связывает bootstrap-конфигурацию и инфраструктурную машину; после bootstrap получает связь с Kubernetes Node | Cluster API |
| MachineDeployment | Декларативное управление группой Worker-узлов | Задаёт желаемое число Worker-узлов и шаблоны для создания Machine, BootstrapConfig и InfraMachine | Cluster API |
| MachineDrainRule | Правила дренажа машин при обслуживании или удалении | Влияет на порядок эвакуации нагрузок с узла; детали зависят от версии CAPI | документация Cluster API |
| MachineHealthCheck | Политика автоматического восстановления неработоспособных Machine | Отслеживает состояние узлов и может инициировать замену Machine | MachineHealthChecks |
| MachinePool | Модель группы машин как единого пула | Не используется в платформе “Штурвал” | документация Cluster API |
| MachineSet | Набор однотипных Machine по шаблону | Создаётся MachineDeployment и поддерживает нужное количество Worker Machine | Cluster API |
controlplane.cluster.x-k8s.io
| Кастомный ресурс | Назначение | Роль в жизненном цикле узла | Где подробнее |
|---|---|---|---|
| KubeadmControlPlane | Объект управления Control Plane на базе kubeadm | Создаёт и сопровождает Machine для Control Plane узлов | Cluster API |
| KubeadmControlPlaneTemplate | Шаблон KubeadmControlPlane | Используется для создания KubeadmControlPlane по шаблону | документация Cluster API |
bootstrap.cluster.x-k8s.io
| Кастомный ресурс | Назначение | Роль в жизненном цикле узла | Где подробнее |
|---|---|---|---|
| KubeadmConfig | Bootstrap-конфигурация для одной Machine | Генерирует данные для kubeadm init / kubeadm join и секрет, который используется при подготовке узла | Cluster API |
| KubeadmConfigTemplate | Шаблон bootstrap-конфигурации | Используется MachineDeployment и другими объектами для создания KubeadmConfig при появлении новых Machine | Cluster API |
infrastructure.cluster.x-k8s.io
Ниже — инфраструктурные CR по поставляемым в платформе провайдерам. Детальная справка по oVirt и Shturval v2 приведена на страницах сервисов shturval-capov и shturval-capsm.
Basis Dynamix
| Кастомный ресурс | Назначение | Роль | Где подробнее |
|---|---|---|---|
| BasisProvider | Конфигурация подключения/провайдера Basis Dynamix | Используется для работы с конкретной средой Basis Dynamix | shturval-capbd |
| BasisCluster | Инфраструктурный объект кластера в Basis Dynamix | Связывает объект Cluster с инфраструктурным контекстом провайдера | shturval-capbd |
| BasisMachine | Одна ВМ/машина в Basis Dynamix | Инфраструктурная часть Machine; провайдер создаёт или сопровождает по ней ВМ | shturval-capbd, InfraMachineTemplate |
| BasisMachineTemplate | Шаблон параметров BasisMachine | Используется CAPI для создания новых BasisMachine в группах узлов | InfraMachineTemplate |
oVirt
Актуально в том числе для zVirt, oVirt, HostVM, РЕД Виртуализация, ROSA Virtualization
| Кастомный ресурс | Назначение | Роль | Где подробнее |
|---|---|---|---|
| OVirtProvider | Параметры подключения к oVirt Engine | Даёт доступ к API oVirt для создания и сопровождения ВМ | shturval-capov (справочник CRD) |
| OVirtCluster | Инфраструктурный объект кластера в oVirt | Хранит endpoint control plane и связывает Cluster с инфраструктурой oVirt | shturval-capov |
| OVirtMachine | Одна ВМ в oVirt | Инфраструктурная часть Machine; создаёт ВМ из шаблона и выставляет ProviderID | shturval-capov |
| OVirtMachineTemplate | Шаблон параметров OVirtMachine | Используется MachineDeployment или KubeadmControlPlane для создания OVirtMachine | InfraMachineTemplate |
OpenStack
Актуально в том числе для VK Cloud, Selectel
| Кастомный ресурс | Назначение | Роль | Где подробнее |
|---|---|---|---|
| OpenStackCluster | Инфраструктурный объект кластера в OpenStack | Связывает CAPI Cluster с проектом, сетью и endpoint в OpenStack | shturval-capos |
| OpenStackClusterTemplate | Шаблон OpenStackCluster | Используется при шаблонном создании инфраструктурного кластера | shturval-capos |
| OpenStackMachine | Одна ВМ в OpenStack | Инфраструктурная часть Machine; провайдер создаёт и сопровождает инстанс | shturval-capos |
| OpenStackMachineTemplate | Шаблон параметров OpenStackMachine | Используется CAPI для создания новых OpenStackMachine в группах узлов | InfraMachineTemplate |
| OpenStackFloatingIPPool | Пул Floating IP в модели провайдера OpenStack | Может использоваться провайдером для управления внешними адресами; детали зависят от версии CAPOS | shturval-capos |
| OpenStackServer | Объект сервера/инстанса OpenStack в модели провайдера | Отражает инфраструктурную сущность провайдера; детали — в CRD конкретной версии CAPOS | shturval-capos |
Shturval v2
| Кастомный ресурс | Назначение | Роль | Где подробнее |
|---|---|---|---|
| ShturvalProvider | Глобальная конфигурация SSH-хостов, версии, registry и учётных данных | Создаёт и сопровождает ShturvalHost для адресов из конфигурации провайдера | shturval-capsm |
| ShturvalHost | Описание физического хоста или существующей ВМ | Проверяется и подготавливается по SSH, затем может быть привязан к ShturvalMachine | shturval-capsm |
| ShturvalCluster | Инфраструктурный объект кластера для Shturval v2 | Связывает CAPI Cluster с конфигурацией провайдера и endpoint кластера | shturval-capsm |
| ShturvalMachine | Инфраструктурная машина Shturval v2 | Выбирает подходящий ShturvalHost, выполняет bootstrap и выставляет ProviderID | shturval-capsm |
| ShturvalMachineTemplate | Шаблон параметров ShturvalMachine | Описывает селектор хостов для группы узлов | InfraMachineTemplate |
| ShturvalManualCluster | Ресурс инфраструктурного провайдера Shturval v2 | Назначение зависит от версии CRD; используйте справку сервиса провайдера | shturval-capsm |
| ShturvalManualMachine | Ресурс инфраструктурного провайдера Shturval v2 | Назначение зависит от версии CRD; используйте справку сервиса провайдера | shturval-capsm |
VMware vCloud Director
| Кастомный ресурс | Назначение | Роль | Где подробнее |
|---|---|---|---|
| VCDCluster | Инфраструктурный объект кластера в vCloud Director | Связывает CAPI Cluster с контекстом vCD | shturval-capvcd |
| VCDClusterTemplate | Шаблон VCDCluster | Используется при шаблонном создании инфраструктурного кластера | shturval-capvcd |
| VCDMachine | Одна ВМ в vCloud Director | Инфраструктурная часть Machine; провайдер создаёт и сопровождает ВМ | shturval-capvcd |
| VCDMachineTemplate | Шаблон параметров VCDMachine | Используется CAPI для создания новых VCDMachine в группах узлов | InfraMachineTemplate |
VMware vSphere
| Кастомный ресурс | Назначение | Роль | Где подробнее |
|---|---|---|---|
| VSphereCluster | Инфраструктурный объект кластера в vSphere | Связывает CAPI Cluster с инфраструктурой VMware vSphere | shturval-capvs |
| VSphereClusterIdentity | Учётные данные или identity для доступа к VMware vSphere | Используется провайдером для аутентификации в vCenter | shturval-capvs |
| VSphereClusterTemplate | Шаблон VSphereCluster | Используется при шаблонном создании инфраструктурного кластера | shturval-capvs |
| VSphereDeploymentZone | Зона размещения в модели CAPVS | Помогает описать, где размещать машины; детали зависят от CRD провайдера | shturval-capvs |
| VSphereFailureDomain | Домен отказа в модели CAPVS | Используется для распределения машин по отказоустойчивым доменам, если это настроено | shturval-capvs |
| VSphereMachine | Одна ВМ в VMware vSphere | Инфраструктурная часть Machine; провайдер создаёт и сопровождает ВМ | shturval-capvs |
| VSphereMachineTemplate | Шаблон параметров VSphereMachine | Используется CAPI для создания новых VSphereMachine в группах узлов | InfraMachineTemplate |
| VSphereVM | Объект ВМ в модели CAPVS | Отражает ВМ VMware vSphere на уровне провайдера; детали — в CRD конкретной версии CAPV | shturval-capvs |
Yandex Cloud
| Кастомный ресурс | Назначение | Роль | Где подробнее |
|---|---|---|---|
| YandexCluster | Инфраструктурный объект кластера в Yandex Cloud | Связывает CAPI Cluster с облачной инфраструктурой | shturval-capy |
| YandexIdentity | Учётные/идентификационные данные для Yandex Cloud | Используется провайдером для доступа к облаку | shturval-capy |
| YandexMachine | Одна ВМ в Yandex Cloud | Инфраструктурная часть Machine; провайдер создаёт и сопровождает ВМ | shturval-capy |
| YandexMachineTemplate | Шаблон параметров YandexMachine | Используется CAPI для создания новых YandexMachine в группах узлов | InfraMachineTemplate |
IPAM (CAPI)
| Кастомный ресурс | Назначение | Роль | Где подробнее |
|---|---|---|---|
| IPAddress | Объект отдельного IP-адреса в модели IPAM CAPI | Может использоваться CAPI/провайдерами для учёта выданных адресов; детали зависят от провайдера IPAM | Провайдер Cluster API, документация Cluster API |
| IPPool | Пул IP-адресов в модели IPAM CAPI | Источник адресов для объектов IPAddress, если соответствующий IPAM-провайдер используется | Провайдер Cluster API |
Встроенные ресурсы Kubernetes
| API группа | Ресурс | Назначение | Роль | Где подробнее |
|---|---|---|---|---|
core | Node | Встроенный Kubernetes-объект зарегистрированного узла | Появляется в целевом кластере после bootstrap; CAPI Machine получает ссылку на Node | Cluster API (связь Machine ↔ Node) |
node.k8s.io | RuntimeClass | Встроенный Kubernetes-объект выбора container runtime handler | Не используется в платформе “Штурвал” | документация Kubernetes |
Ошибки развертывания
Если на этапе инсталляции или создания кластера возникает ошибка, соответствующий этап переходит в состояние с ошибкой (красная индикация). Детали — в conditions этапа. Типичные причины ошибок:
- Траблшутинг создания клиентского кластера;
- Что делать при ошибке (клиентский кластер).