nos в работе: демо
Короткое видео: кластер nos из трёх хостов, которым управляют из панели. Само ядро nos, затем несколько ВМ с Linux на разных хостах, их диски на отказоустойчивом хранилище, сами машины в общей приватной сети: от публичного образа Debian до iperf3 между хостами.
Задача видео — запустить несколько виртуальных машин с Linux на разных узлах кластера, загруженных в nos: их диски на отказоустойчивом хранилище, а сами машины в общей приватной сети. Это одна сессия в панели управления небольшого кластера nos из трёх хостов. Первый — сервер Intel EX44 в Hetzner, nos на нём работает прямо на железе. Два других — экземпляры nos в виртуальных машинах KVM на втором сервере, AMD AX41. Видео только подрезано: вырезаны ожидание загрузки образа и ожидание, пока машина загрузится. Всё остальное показано так, как было.
Что в видео
- Хосты. Все три загружены в nos, один из них — настоящий сервер Hetzner EX44. Панель обращается к API каждого хоста по TLS с взаимной проверкой ключей и видит все три.
- Само ядро nos. Страница «Система» на EX44 показывает собственные задачи и модули ядра: гипервизор, хранилище, сеть. В обзоре — версия, процессор и параметры загрузки. Память гостевым машинам выделяется страницами по 2 МБ из пула больших страниц, который ядро откладывает при загрузке (
hugepages=32G). - Образ по публичной ссылке. Хост скачивает облачный образ Debian 13, переводит его из qcow2 и записывает в NBS, блочное хранилище кластера. Там образ замораживается только для чтения, а машины делаются из его клонов.
- Сеть между хостами. vnet даёт машинам на разных хостах общую подсеть, шлюз и выход в интернет, а машине в этой сети можно дать и публичный адрес. Состояние сетей кластера хранится на каждом хосте и согласуется через Raft.
- Две машины на двух хостах. У каждой два процессора, а диск — клон образа. Обе в новой сети, за фаерволом кластера, который пускает внутрь только трафик из этой сети. Пароль из формы cloud-init выдаёт пользователю образа.
- Хранилище зелёное. Каждый чанк каждого тома лежит на трёх хостах, а метаданные NBS согласуются через Raft, поэтому хранилище продолжает работать, когда хост выходит из строя.
- Консоли и iperf3. Последовательные консоли машин транслируются в панель. Входим на обе машины, ставим iperf3 с зеркал Debian (в интернет машины выходят через NAT) и меряем TCP с одной машины на другую. Трафик идёт через шифрованный туннель между хостами: ChaCha20-Poly1305 на ассемблере CRYPTOGAMS.
Что почитать
- NBS: реплицированное блочное хранилище — как устроены тома, реплики и сервис метаданных.
- vnet: сети машин между хостами — сети кластера, фаерволы и туннель.
- Гипервизор — на чём работают машины.
Текст ролика
nos — минимальная ОС для серверов: в ней только необходимые компоненты. Её ядро на C++ небольшое, его можно прочитать и проверить целиком. Всё остальное — драйверы устройств, гипервизор, файловые системы, сеть и хранилище — написано на безопасном Rust. Он помогает исключить обращения за границы памяти и гонки данных — ошибки, типичные для кода на C в Linux.
В этом демо запустим несколько виртуальных машин с Linux на разных узлах кластера, загруженных в nos: их диски — на отказоустойчивом хранилище, а сами машины — в общей приватной сети.
Это панель управления. Все три хоста кластера загружены в nos. Один из них — настоящий сервер Hetzner EX44, два других работают в виртуальных машинах на втором сервере. А это само ядро nos на этом сервере: его задачи и модули — гипервизор, хранилище, сеть. Здесь же версия ядра, процессор и параметры загрузки. Память гостевым машинам выделяется страницами по 2 МБ, из пула больших страниц (hugepages), который ядро откладывает при загрузке.
Сначала образ виртуальной машины по публичной ссылке: облачный Debian 13. Хост скачал образ и записал его в блочное хранилище NBS. Образ готов.
Теперь виртуальная сеть, общая для машин на разных хостах: подсеть, шлюз и выход в интернет. Машине в этой сети можно дать и публичный адрес. Состояние сетей хранится на каждом хосте и согласуется через Raft, так что сеть переживает отказ хоста.
Первая машина на этом хосте: два процессора, диск из образа, новая сеть, пароль для входа и фаервол, который пускает внутрь только трафик из этой сети. Машина создана. Запускаем её прямо из списка. Вторая машина — на другом хосте кластера: тот же образ, та же сеть и тот же фаервол. Обе машины видны в панели и уже работают.
Хранилище зелёное. Каждый блок лежит на трёх хостах, а метаданные согласуются через Raft, поэтому отказ хоста хранилищу не страшен.
Консоль второй машины: Debian загрузился. Входим, ставим iperf3 и запускаем его сервер. Теперь консоль первой машины: тоже входим и ставим iperf3. И меряем скорость TCP до второй машины на другом хосте. Трафик идёт через шифрованный туннель между хостами.
nos — открытый проект. Приглашаем энтузиастов попробовать его и помочь с разработкой: код на GitHub, подробности на сайте.