Панель управления, которая сама — VM того хоста, которым управляет
У nos появилась веб-панель, и в ядре от неё нет ничего. Ядро отдаёт API хоста по взаимному TLS, а панель — приложение на Next.js в Debian-VM, которую хост сам себе создаёт. Как это устроено и какие две проблемы нашлись при первом запуске на настоящем сервере.
Машине, на которой работают чужие виртуальные машины, нужен экран: что делает хост, какие на нём VM, кнопка, чтобы создать машину из облачного образа, консоль, чтобы в неё печатать. С 28 октября у nos такой экран есть, и на Hetzner EX44 он выглядит так:
Обзор EX44. Из 33 ГиБ занятой памяти почти всё — пул огромных страниц на 32 ГиБ, из которого берут память гостевые машины; квадраты под графиком — его 20 процессоров.
Сначала думали сделать модуль, который сам отдаёт HTML и JavaScript. Сделали иначе — с тем же разделением, что у VMware между ESXi и vCenter:
- Ядро отдаёт API и больше ничего. Он структурированный, с версиями, и до него доходят только по взаимному TLS. Каждое действие, которое предлагает панель, — вызов этого API.
- Панель — обычный клиент этого API, Linux-апплаенс в виртуальной машине. По умолчанию эта VM работает на том же хосте, которым управляет, но ничто её там не держит.
- Тот же API обслуживает всё остальное, что управляет nos: командную строку
nosctl, скрипты и панели других хостов.
Причин две. Первая — то, что доходит до парсеров ядра. Клиент без ключа, который знает хост, отсекается на TLS-рукопожатии, раньше чем будет прочитан хоть один байт HTTP, JSON или WebSocket. Всё, что приносит с собой браузер, — пароли, cookie, сессии, межсайтовые запросы, политика безопасности контента, — живёт в VM, где ошибка стоит одной VM, а не хоста. Вторая — сама панель: графики, терминал и формы — то, с чем хорошо справляется веб-стек и плохо справляется ядро.
Сделали это вот эти коммиты, влитые как 650e0b8:
| Коммит | Что добавил |
|---|---|
| 9f0e837, 75e3e95 | Шину управления и собственных провайдеров образа на ней: system, net, block, fs |
| 4f739d5, 2add377 | HTTP/1.1, WebSocket и JSON шины в крейтах без ядра внутри, и TLS 1.3-сервер, который пускает клиентов по их ключам |
| 0ea2131, 87accaa | API хоста в виде модуля api.ko и цель фаззера, которая гоняет собственный исходник модуля |
| 4f6b4e0 | Провайдер vm: создание, клонирование, удаление и изменение VM через шину, долгие операции — задачами |
| 5b49598, 817196c | Панель и апплаенс: api panel create создаёт VM панели |
| d999ebb | Несколько хостов в одной панели и удаление, которое просит ввести имя машины |
| ec3745c, 283f1e1 | То, что понадобилось при первом запуске на EX44: TCP, который не ограничивает проброшенный порт 8 КиБ за оборот, и панель, которая не выходит за то, что API пускает одновременно |
Шина: методы, которые сами себя описывают
До этой работы у nos не было вообще никакого структурированного интерфейса. Модули не вызывали друг друга, и всё было командами шелла, которые печатают текст. Шина управления — структурированный слой под API. Часть ядра регистрируется на ней провайдером — system, net, block, fs, vm, api — и отвечает на методы по имени. Метод бывает трёх видов:
- чтение — отвечает сразу и ничего не меняет;
- действие — короткое изменение;
- задача — для всего, что может длиться минуты, например для создания VM по URL. Задача работает в собственном потоке, сообщает, сколько уже сделано, и останавливается, если её отменить.
Каждый провайдер ещё и отдаёт шине дескриптор: свои методы, их параметры и результаты, их названия на английском и русском. Вот дескриптор vm.delete:
"delete": {
"kind": "job",
"title": { "en": "Delete", "ru": "Удалить" },
"confirm": {
"en": "This VM and its disks are deleted, and cannot be brought back. Type its name to go on.",
"ru": "Машина и её диски будут удалены без возможности вернуть. Введите её имя, чтобы продолжить."
},
"confirm_typed": "name",
"params": {
"name": { "type": "string", "required": true, "title": { "en": "Name", "ru": "Имя" } },
"keep_disks": { "type": "bool", "title": { "en": "Keep its disks", "ru": "Оставить диски" } },
"force": { "type": "bool", "title": { "en": "Even if protected", "ru": "Даже защищённую" } }
}
}
Шина сверяет дескриптор с методами, которые провайдер действительно регистрирует. Дескриптор, который называет метод, которого у провайдера нет, отклоняется при регистрации, как и confirm_typed, указывающий не на обязательный строковый параметр. Панель рисует свои страницы по этим дескрипторам: чтение становится таблицей с кнопкой «Обновить», а действие или задача — формой с полем на каждый параметр. Страница «Система» ниже — дескриптор провайдера system, нарисованный так. «Приоритет (nice)» в каждой строке — действие system.set_nice, которому передаётся PID задачи.
Задачи ядра на EX44, прочитанные через шину. hv/vm1/cpu2 — процессор Ubuntu-VM пользователя, hv/relay — задача, которая несёт проброшенный порт, hv/vm0/vda — диск VM панели.
Методы нового провайдера появляются в панели без единой строки её кода. Страницы, нарисованные вручную, — обзор и виртуальные машины, — вызывают те же методы.
API: сначала TLS, потом всё остальное
api.ko (документация) отдаёт шину по HTTP/1.1 и через WebSocket внутри TLS 1.3. TLS-сервер — тот же rustls без стандартной библиотеки, которым пользуется HTTPS-клиент ядра, теперь в роли сервера. Клиент обязан показать сертификат, и пускают его по SHA-256 его ключа, найденному в /etc/api/clients — так же, как ssh пускает по authorized_keys. Удостоверяющий центр не участвует ни в одну сторону. Клиент знает ключ хоста заранее и проверяет его, прежде чем что-либо отправить. Клиент бывает admin или read: читателю показывают только чтения и отказывают в любом изменении. Маршруты — GET /v1/providers, POST /v1/call/<provider>/<method>, POST /v1/jobs/<provider>/<method> и поток: GET /v1/stream, WebSocket, по каналам которого идут числа хоста, его журнал, задачи и консоль VM.
По умолчанию API слушает hv0, коммутатор гостевых машин, и больше нигде. api panel create сужает это ещё — до адреса VM панели. Соединение откуда-либо ещё на hv0 сбрасывается до рукопожатия, а каждое изменение, которое делает администратор, пишется в журнал аудита.
API — через него же самого: три соединения от панели — два для запросов, одно для потока, — и ключ панели, единственного клиента этого хоста.
Панель — это апплаенс
Панель — приложение на Next.js. Его собирают в бандл вместе с Node 24 и Caddy 2.11, всего 79 МБ, и запускают в VM с Debian 13. Всё создаёт одна команда на хосте:
$ api panel create
api: /etc/api/api.toml lets 10.0.100.17 in on hv0
api: the panel's VM is being made: job 5 -- mgmt job 5 follows it; port 15 of the switch, 10.0.100.17
api: https://203.0.113.5:39233 once it has installed itself, minutes after its image is in
api: its certificate, as a browser shows it: SHA-256 05:DB:D5:D2:BC:C8:90:61:1D:7B:AB:4F:1F:35:51:D7:A4:0A:28:29:1C:12:20:CF:54:28:CA:E3:02:4F:3F:F2
Команда и задача, которую она запускает, делают вот что:
- Создают удостоверение панели как клиента API: ключ P-256 и сертификат, пущенные под именем
panel, администратором. - Создают сертификат панели как HTTPS-сервера. Его создаёт хост, чтобы напечатать отпечаток, который покажет браузер.
- Пишут seed для cloud-init. В нём — адрес API на
hv0, ключ хоста, который нужно закрепить, оба удостоверения, хеш пароля root и скрипт. Скрипт скачивает бандл, проверяет его SHA-256 и устанавливает. - Делают VM из облачного образа Debian. На EX44 это заняло 46 с: 325 МиБ скачались со скоростью 26 МиБ/с, а qcow2 стал сырым диском за 32,6 с.
- Отдают VM старший свободный порт коммутатора, пробрасывают порт nos 39233 на её 443, помечают её защищённой и запускают.
nos-install --panel кладёт api panel create в /etc/rc и создаёт пароль root, который печатает один раз и хранит только хешем. При каждой загрузке после первой эта строка находит VM уже созданной и только запускает её. api panel говорит, где она:
$ api panel
api: the panel's VM is running, port 15 of the switch, 10.0.100.17
api: https://203.0.113.5:39233
api: its certificate, as a browser shows it: SHA-256 05:DB:D5:D2:BC:C8:90:61:1D:7B:AB:4F:1F:35:51:D7:A4:0A:28:29:1C:12:20:CF:54:28:CA:E3:02:4F:3F:F2
Сертификат свой у хоста, поэтому браузер один раз о нём предупредит. Отпечаток, который напечатал api panel, и говорит, что страница — ваша панель, а не кто-то посередине. VM защищена: API откажется остановить или удалить её, если не попросить с force. Пока она лежит, хостом по-прежнему можно управлять через ssh и nosctl.
Внутри VM Caddy завершает HTTPS и предлагает HTTP/2, так что браузеру через проброшенный порт хватает одного соединения. Сервер самой панели проверяет пароль root, держит сессию в cookie __Host- и отказывает в изменении, которое пришло не с её собственных страниц. Для каждого хоста, которым управляет, он держит пул TLS-соединений с API и один поток. Числа, которые присылает поток, панель хранит как историю для графиков.
Страницы виртуальных машин и отдельной машины нарисованы вручную, по чтениям провайдера vm:
Две VM EX44: Ubuntu пользователя и сама панель.
Форма «Создать машину» — дескриптор vm.create со списком образов: имя, URL облачного образа, размер диска, память, процессоры и, если нужен, пароль для консоли.
Консоль VM — канал потока, и то, что в неё печатают, уходит в VM. Здесь это консоль самой VM панели. Её последние строки — установка панели в неё, дважды: первый бандл, потом тот, в котором исправление, о котором ниже.
Удаление нельзя прощёлкать случайно. confirm_typed заставляет форму ещё раз спросить имя машины, и «Подтвердить» не нажимается, пока имя не совпадёт.
Этот снимок — с тестового стенда панели, против её mock-API: на EX44 мы не нажимали «Удалить» ни на чьей машине.
Больше одного хоста
Удостоверение панели — ключ, а ключ можно пустить где угодно. Страница «Хосты» добавляет ещё один nos по адресу его API и его ключу — SHA-256, который печатает api status того хоста. Там же страница показывает команду, которая пускает эту панель туда: api client add panel-5bc39887 admin 5bc39887…. API другого хоста должен слушать там, где панель до него дотянется, — обычно на eth0, со списком разрешённых адресов. У каждого хоста свои страницы, свой пул соединений и свой поток. Если хост показывает не тот ключ, который дали, панель к нему не подключается, а его карточка говорит, какой ключ он показал.
На EX44: 8 КиБ за оборот
Панель прошла свои тесты: Playwright гонял production-сборку против mock-API, а Debian-контейнер запускал бандл так, как его запускает VM. Потом она поехала на EX44, и первым делом нужно было измерить вход. Браузер попадает в панель через hv forward, который принимает соединения на порту nos 39233 и пересылает их на 443 VM. Со стола в 62 мс от сервера это давало 120 КиБ/с вниз и 69 КиБ/с вверх.
Причина была в TCP. nos давал принятому соединению по 8 КиБ буфера в каждую сторону. Отправитель TCP отправляет одно окно за оборот, а 8 КиБ за 62 мс — это около 130 КиБ/с на любой линии. Больше получали только собственные соединения HTTP-клиента. Так что бандл в 83 МБ копировался бы в VM минут двадцать. Можно было убрать релей с пути с помощью DNAT. Вместо этого мы исправили TCP в ec3745c, чтобы он перестал быть узким местом для всего, что им пользуется:
- Слушатель теперь может быть bulk, и у
hv forwardон такой. Принятое им соединение получает буферы по 512 КиБ в обе стороны. Они берутся из кучи в момент, когдаacceptотдаёт соединение, и никогда под локом. Соединение масштабирует окно начиная с SYN-ACK, если SYN собеседника это предлагает. - Управление перегрузкой, без которого окно в сотни килобайт не обойдётся. Оно сделано по RFC 5681: десять сегментов на старте, медленный старт и избегание перегрузки. Потерянный сегмент отправляется заново на третьем повторном подтверждении, а следующие потери в том же окне уходят по одной на каждое частичное подтверждение (NewReno). Таймаут возвращает окно к одному сегменту, а остальное отправляют подтверждения, которые приходят в ответ. Раньше таймаут разом отправлял заново всё неподтверждённое окно.
- Релей ждёт простаивающую сторону миллисекунду, пока данные идут, а не пять. Загрузка раньше каждый оборот пережидала чтение с простаивающей стороны — по 4 КиБ за раз.
Цель TCP в сетевом фаззере получила линию, которая теряет собственные сегменты машины, так что каждому пути восстановления приходится заполнять дыры и сохранять каждый байт. Её десятиминутная кампания затем нашла дыру — в модели, а не в ядре. Собеседник, вернувшийся после молчания, ещё должен был исчерпать свои повторные отправки и сдавался уже после того, как модель разослала свои сбросы, так что машине об этом никто не говорил. После этого исправления ещё две десятиминутные кампании ничего не нашли. Тот же путь с того же стола теперь даёт 1 249 КиБ/с вниз и 1 214 вверх: бандл ушёл за 63 с. Браузер, который ни разу не видел панель, с новым TLS-соединением, загружает страницу входа в среднем (медиана) за 839 мс по HTTP/2.
ECONNRESET на каждой странице
Следующей сломалась панель. После входа почти на каждой странице было написано read ECONNRESET. api status на хосте назвал причину одной строкой:
api: 37 connections taken, 0 not allowed, 39 past a limit, 0 refused in the handshake (0 unknown keys), 28 requests, 1 streams
api.ko пускает одновременно восемь соединений, четыре на один ключ и два, которые ещё в TLS-рукопожатии. Рукопожатие стоит одной подписи и двух её проверок, а каждое соединение — это отдельная задача и один из 64 слотов TCP ядра. Соединение сверх лимита сбрасывается. Сервер панели открывал к хосту до трёх соединений одновременно, плюс поток. Страница спрашивает несколько вещей сразу, поэтому холодная страница делала три рукопожатия одновременно, и третье сбрасывалось. Вдобавок Next.js может загрузить модуль по разу на каждый свой бандл, так что пулов у панели было по одному на бандл. А в mock, против которого шли тесты, лимитов не было вовсе.
283f1e1 исправил и панель, и её тесты:
- Панель открывает соединения к хосту по одному: и для пула, и для потоков.
- Для запросов она держит два: два, поток и поток консоли — это и есть четыре на ключ.
- Пул один на процесс, он хранится в
globalThis. - Соединение, сброшенное на входе, пробуется снова через 100 мс и каждый следующий раз вдвое позже: хост мог быть на пределе из-за другого клиента.
- У mock теперь лимиты api.ko, он сбрасывает соединения сверх них так же, как nos, и считает их так же, как
api status. Набор тестов в конце проверяет, что этот счётчик — 0 на обоих хостах, после всех страниц и дюжины одновременных запросов.
Со старым клиентом этот набор проваливает 7 тестов из 12, и один из них показывает ровно страницу с EX44: «VMs … Refresh … read ECONNRESET». С новым клиентом проходят все 12. На EX44, с вернувшимися лимитами API по умолчанию, следующая сессия в панели сделала 121 запрос по 4 соединениям, и ни один не вышел за лимит.
Чего ещё нет
- API не видит адрес браузера, только адрес релея. Неудачные входы в панель считаются одним счётчиком для всех; релей мог бы передавать адрес по протоколу PROXY.
- Данные панели — её сессии и хосты, которые она знает, — лежат на системном диске VM. Следующий шаг — отдельный диск данных, который не трогает обновление апплаенса.
- Сертификат панели создаётся один раз и никогда не обновляется.
- Релей всё ещё ограничивает проброшенный порт: за оборот он переносит 4 КиБ, а собственное соединение nos с гостем держит 8 КиБ. Это около 1,2 МиБ/с при 62 мс — с запасом для панели, но не вся линия.
- Linux-гости, а значит и VM панели, работают только на хостах x86-64. nos на arm64 управляется внешней панелью или через
nosctl.
Этап 4 плана — плоскость управления многими хостами. API и панель — её первая половина: один хост или несколько, добавленных вручную, каждым из которых управляют одними и теми же вызовами. API описан в API хоста, шина под ним — в Шине управления.







