Догоняем KVM: одна и та же ВМ с Ubuntu под KVM и под nos
Мы запустили одну ВМ с Ubuntu под KVM и под nos на одном сервере. Диск поначалу работал на 1% от KVM. Через четыре дня большая часть тестов на уровне KVM или быстрее.
У nos есть свой гипервизор, и рано или поздно нас должны были спросить, насколько медленнее под ним работает Linux, чем под KVM. 31 октября мы наконец померили это всерьёз. Первые цифры нас расстроили. Диск гостя работал примерно на 1% от скорости под KVM.
Следующие четыре дня ушли на исправления, в три захода, и после каждого мы мерили заново. К 4 ноября вычисления догнали KVM, большая часть дисковых тестов стала быстрее, чем под KVM, а несколько вещей всё ещё отстают. Здесь о том, что было не так и как мы это нашли.
Как мерили
Всё гоняли на Hetzner EX44, на котором живёт nos. В нём стоят i5-13500 с шестью P-ядрами и восемью E-ядрами и NVMe Samsung MZVL2512HCJQ. Гостем был облачный образ Ubuntu 24.04 с ядром 6.8, четырьмя vCPU, 8 ГиБ памяти и диском на 8 ГиБ. Сначала он работал под QEMU 8.2 и KVM на родной Ubuntu сервера, потом мы перезагружали сервер в nos и запускали тот же образ там.
Мы старались, чтобы прогоны отличались только гипервизором. Оба раза диском гостя был файл формата raw на корневом разделе nos, свежая копия одного и того же образа, а для прогона под KVM Ubuntu просто монтировала этот раздел. Такого гостя nos сажает на два целых P-ядра, а его диск обслуживает на E-ядре, поэтому потоки vCPU и iothread QEMU мы закрепили за теми же CPU. В обоих прогонах гость получал страницы по 2 МиБ и диск virtio-blk, а QEMU запускался с cache=none, aio=native и -cpu host.
При загрузке гость запускает sysbench, 7-Zip, бенчмарки планировщика и системных вызовов из perf, cyclictest, fio, сборку ядра и pgbench, печатает результаты в последовательную консоль и выключается. Весь набор и результаты каждого прогона лежат в bench/vm.
До и после
На графике nos в процентах от KVM 31 октября, до всей этой работы, и 4 ноября, после третьего захода. Больше 100% значит, что nos быстрее.
Все цифры
| KVM | 31 октября | 4 ноября | |
|---|---|---|---|
| sysbench CPU, 1 поток | 1589 событий/с | 1489 (94%) | 1579 (99%) |
| sysbench CPU, 4 потока | 3259 событий/с | 3112 (95%) | 3294 (101%) |
| случайное чтение памяти, 1 поток | 949 МиБ/с | 793 (84%) | 875 (92%) |
| pipe из perf, один круг | 6,0 мкс | 14,3 (42%) | 7,0 (86%) |
| системный вызов из perf, один вызов | 87,8 нс | 70,5 (125%) | 66,6 (132%) |
| cyclictest, среднее | 31 мкс | 76 (41%) | 4 (775%) |
| cyclictest, худший случай | 3280 мкс | 3200 (102%) | 29 (11 310%) |
| fio: первая запись нового файла, 1M QD8 | 4643 МиБ/с | 28 (1%) | 3696 (80%) |
| fio: случайное чтение 4k, QD1 | 20,1k IOPS | 11,9k (59%) | 20,3k (101%) |
| fio: случайное чтение 4k, QD32 | 195k IOPS | 15,5k (8%) | 294k (150%) |
| fio: случайное чтение 4k, 4 задания по QD16 | 217k IOPS | 15,6k (7%) | 337k (155%) |
| fio: случайная запись 4k, QD1 | 39,9k IOPS | 16,9k (42%) | 44,9k (113%) |
| fio: случайная запись 4k, QD32 | 178k IOPS | 26,9k (15%) | 160k (90%) |
| fio: чтение 1M, QD8 | 1456 МиБ/с | 169 (12%) | 2172 (149%) |
| fio: запись 1M, QD8 | 3694 МиБ/с | 173 (5%) | 4695 (127%) |
| fio: запись 4k с fdatasync | 620 IOPS | 711 (115%) | 726 (117%) |
| то же, перцентиль 99,9 записи | 226 мкс | 1089 (21%) | 33 (685%) |
сборка ядра, make -j4 |
318 с | не запускали | 330 (96%) |
| pgbench init | 6,5 с | не запускали | 9,8 (67%) |
| pgbench, только чтение, 1 клиент | 61,6k tps | не запускали | 53,8k (87%) |
| pgbench TPC-B, 1 клиент | 411 tps | не запускали | 641 (156%) |
| pgbench TPC-B, 16 клиентов | 4655 tps | не запускали | 4928 (106%) |
В скобках nos в процентах от KVM, и больше 100% всегда значит, что nos быстрее. Для времени это время под KVM, делённое на время под nos. Колонка «31 октября» показывает master до начала работы (bced1539), колонка «4 ноября» показывает сборку после третьего захода (dc529775), и fio в ней взят из её второго прогона. Первый прогон мы остановили до сборки ядра, а сборка 4 ноября гоняла укороченный набор без неё, поэтому последние пять строк взяты из прогона 2 ноября (96281a83).
Два прогона одной и той же сборки могут разойтись в некоторых строках на 5 или 10%, поэтому изменению мы верили, только когда оно повторялось в нескольких прогонах. В первом прогоне последней сборки чтение по 1 МиБ было на 97% от KVM, а запись на 39%. Второй прогон той же сборки показал 149% и 127%, поэтому числа fio взяты из него.
Некоторые результаты обгоняют KVM, хотя гипервизор nos ничего хитрого для этого не делает. Впереди работа, которая часто делает flush: тест fio с fdatasync после каждой записи на 117%, а TPC-B из pgbench с одним клиентом в последний раз, когда мы его запускали, был на 156%. Под nos flush гостя идёт прямо в NVMe, а под QEMU он превращается в fdatasync файла образа и сначала проходит через ext4 хоста и её журнал. Бенчмарк системных вызовов из perf на 132%, потому что гость под nos защищается от branch history injection встроенным в процессор BHI_DIS_S, а под QEMU 8.2 выполняет программную защиту на каждом системном вызове.
Диск
Диск гостя под nos хранится файлом на корневой ext4 самого nos. До этой работы каждое чтение и каждая запись гостя шли через VFS и брали блокировку корневой файловой системы, а запрос в полёте у гостя мог быть только один. Запись в ту часть файла, где ещё не было блоков, стоила коммита ext4 на каждую порцию, около 9 мс на 256 КиБ, а драйвер NVMe отправлял по 8 КиБ на команду и ждал каждую.
Первый заход исправил почти всё это. Образ диска теперь один раз читает у ext4 карту блоков файла и держит её у себя, так что чтение и запись идут в NVMe в обход VFS. Запись в дыру растит файл сразу на 16 МиБ за один коммит, команды NVMe стали такими большими, какие позволяет контроллер, а запросов в полёте у гостя может быть 32.
Потом первый же тест с настоящим образом диска показал, что рост по 16 МиБ не срабатывал вообще. ext4 молча отказывала каждому куску после первой дыры в файле, и запись шла старым медленным путём. Данные при этом оставались правильными, поэтому ни один другой тест ничего не заметил. Транзакция сверяла только что изменённый блок экстентов с контрольной суммой, которую ещё не пересчитала (f4a1a68f). Такая ошибка видна только как медлительность, поэтому fs-fuzz теперь падает на любом отказе, который нельзя объяснить полным диском или сбоем запроса.
Труднее всего с записью нового файла, потому что гость пишет в блоки, которых nos файлу ещё не выдавал. Первая версия заполняла каждый новый кусок нулями, а данные гостя ложились поверх. У этого Samsung нет команды Write Zeroes, так что каждый блок писался дважды, и первая запись шла на 19% от KVM. Экстенты ext4 в состоянии unwritten, которые читаются как нули, пока гость не сделает flush, поначалу сделали только хуже. Заодно мы перевели журнал на запись с FUA, а на этом диске запись с FUA стоит почти как целый flush, и таких записей было от шести до восьми на коммит. Когда вернулись обычные коммиты, а рост файла стал удваиваться, пока гость пишет подряд, первая запись дошла до 42%.
Второй заход нашёл предел в самом кольце. Если устройство не предлагает непрямые дескрипторы (indirect descriptors), драйвер virtio-blk в Linux отдаёт каждой странице запроса свою ячейку кольца. Запрос на 256 КиБ занимал 66 ячеек из 256, так что больше трёх таких запросов в полёте у гостя быть не могло. Теперь диск предлагает непрямые дескрипторы. Ещё каждый запрос уходит в NVMe, как только задача диска его увидит, и возвращается гостю, как только выполнится, а раньше вся пачка ждала самого медленного своего запроса. Чтение по 1 МиБ выросло до 150% от KVM, запись до 102%. По дороге выяснилось, что драйвер NVMe молча откатился на команды по 8 КиБ, потому что его списки PRP просили у аллокатора страниц больше непрерывных страниц, чем тот выдаёт.
В третьем заходе взялись за запросы по 4k. На QD32 вся работа устройства шла на первом vCPU гостя: он выкладывал готовые запросы в кольцо и слал их прерывания. Теперь это делает сама задача диска, как iothread QEMU с irqfd (007650c6), а гость не зовёт диск, пока у него в полёте восемь запросов. Ещё задача диска немного крутится, прежде чем уснуть, так что на QD1 она не спит, когда приходит следующий запрос. Работает она на E-ядре и раньше каждую страницу памяти гостя, которую копировала, отображала ради этой одной копии и потом сбрасывала из TLB, около микросекунды на 4 КиБ. Память гостя берётся из пула страниц по 2 МиБ, и теперь этот пул отображается один раз при загрузке. Чтение по 4k выросло с 83% от KVM до 101% на QD1 и с 76% до 150% на QD32.
В том же заходе у образа диска появилась своя задача, которая заранее выделяет место впереди гостя, пишущего свой диск с одного конца, так что запись гостя больше не останавливается у каждой дыры в ожидании коммита. Первая версия просила место и там, где у файла оно уже было, и в одном прогоне запись по 1 МиБ в существующий файл упала до 39% от KVM. Теперь место просится только там, где в карте блоков образа есть дыра, а тест при загрузке ловит эту ошибку. Первая запись выросла с 67% до 80%.
Пробуждение CPU гостя
Когда CPU гостя выполнял HLT, nos сразу усыплял его поток, и каждое пробуждение стоило засыпания, перепланирования и переключения контекста. KVM сначала немного крутится, и на EX44 это ожидание ловит около 36 миллионов остановок из 40. Теперь nos делает так же и ловит от 89 до 91% остановок, а pipe из perf ускорился с 14,3 мкс примерно до 9.
Отчёт nos по каждому гостю следит за тем, насколько опаздывают его прерывания таймера, и в каждом прогоне худшее опоздание было 10 009 мкс, ровно один тик таймера хоста. Мы исправили очевидную гонку, а число осталось. Потом заметили, что цикл взводил таймер хоста под дедлайн гостя с включёнными прерываниями, и любое другое прерывание таймера до входа в ВМ могло взвести его заново на следующий тик. Мы перенесли взвод в сам вход в ВМ, где прерывания выключены до запуска гостя. Худший случай остался 10 009 мкс.
Тогда мы научили отчёт печатать самое позднее прерывание прогона и то, что было прямо перед ним. Гостя впустили ровно в его дедлайн, таймер хоста стоял ровно на этот момент, а вышел гость на тик позже. Новый код входа сначала проверял, не прошёл ли дедлайн, и только потом взводил таймер, а таймер, взведённый на уже прошедший момент, ничего не делает. Помогло сначала взводить, а потом проверять. hv-fuzz поймать такое не мог. Он гонял свою копию кода входа, где порядок случайно был правильный, и часы в нём не двигались между двумя чтениями. Теперь он гоняет настоящий код, а его часы иногда прыгают на дедлайн прямо посреди взвода, и неправильный порядок ловится на входе номер 43.
Оставалось около 12 000 прерываний таймера за прогон с опозданием больше 1 мс, почти все после того, как остановленный vCPU проспал лишних от 1 до 3 мс. Под KVM худший случай cyclictest тоже больше 3 мс, поэтому мы списали это на машину, скорее всего на SMI, и первая версия этой статьи так и писала. Мы ошиблись. Изменения диска во втором заходе сделали всё гораздо хуже, в одном прогоне опоздавших прерываний было 21 112, а статистика планировщика на CPU, где работали vCPU, показывала, что разбуженные задачи ждут до 4 мс при пустой очереди. Проснувшись из MWAIT, задача простоя прогоняла кусочек своего цикла, прежде чем снова уснуть, и всё это время планировщик считал её обычной задачей. Если vCPU будили именно тогда, он оставался в очереди, задача простоя снова уходила в MWAIT, и CPU никто не будил, пока не кончался её квант в 3 мс. Теперь задача простоя смотрит в свою очередь, прежде чем уснуть, за прогон опаздывают 2 прерывания вместо 12 000, а худший случай cyclictest упал до 205 мкс. У KVM на той же машине он 3280 мкс, так что его выбросы, откуда бы они ни брались, идут не от железа.
Среднее у cyclictest всё ещё было 72 мкс против 31 у KVM, хотя хост уже доставлял прерывание таймера в среднем через 3 мкс после дедлайна. Недостающее время уходило на частоту CPU хоста. Между тиками своего таймера CPU гостя простаивают, и при сбалансированной настройке HWP по умолчанию процессор в каждом простое сбрасывал частоту, так что первые микросекунды после каждого пробуждения шли в несколько раз медленнее. Сразу после пробуждения запись гостем следующего дедлайна обходилась хосту в 10,1 мкс. Теперь nos держит CPU, на которых работает гость, в режиме производительности HWP, пока гость работает, и среднее у cyclictest упало примерно до 6 мкс.
Последние микросекунды сидели в самих выходах. Записи гостя в ICR, которыми он шлёт IPI, и в его дедлайн TSC теперь обрабатываются прямо в цикле, который входит в гостя, без остального пути выхода. Так же обрабатывается HLT, который скоро закончит IPI от другого vCPU. В последнем прогоне так закончилось около 54 миллионов HLT. Среднее у cyclictest стало 4 мкс, а круг pipe из perf сократился с 8,2 мкс до 6,4 или 7,0, смотря по прогону.
Частота
Вычисления поначалу шли на 94 и 95% от KVM, и дело было в турбочастоте. Свои простаивающие CPU nos останавливал через HLT, а ядро, остановленное так, для процессора всё ещё выглядит занятым, поэтому рабочие ядра получали меньшую турбочастоту. 7-Zip шёл на 4460 МГц под nos и на 4768 под KVM. Когда простаивающие CPU стали ждать в MWAIT и уходить в глубокое C-состояние после нескольких длинных простоев подряд, частота поднималась до 4715 МГц, а вычисления дошли до 96 и 98%.
Остаток разрыва помогла найти новая команда шелла cpufreq. Она показывает частоту каждого CPU, пока он был занят, и глубину его простоев. Оказалось, что ядро с занятым vCPU работает на 4,55 ГГц, а Ubuntu на той же машине гоняет его на 4,8, и что несколько простаивающих P-ядер проводят большую часть простоя в C1. Глубже nos уходил только после четырёх длинных простоев подряд. Теперь простаивающий CPU, которым не пользуется ни один гость, уходит в C6, если его следующий таймер не ближе 1 мс. Занятое ядро работает на 4,76 ГГц, а тест CPU в sysbench на 99 и 101% от KVM.
Что ещё отстаёт
Полный список, с тем, куда смотреть и как мерить каждый пункт, лежит в plans/vm-perf-todo.md. Главное из него:
- Первая запись на 80%. Каждый рост файла по-прежнему стоит коммита ext4 с двумя flush, и идёт он, пока NVMe занят данными гостя. Под KVM ext4 хоста делает один коммит, когда гость вызывает fsync.
- Случайное чтение памяти на 92%. Второй поток занятого ядра простаивает, вложенные таблицы страниц используют страницы по 2 МиБ, как и у KVM, а у гостя есть PCID, так что дальше нужны счётчики производительности процессора.
- pipe из perf держится между 86 и 93% от KVM, запись 4k на QD32 на 90%.
- Сборку ядра и pgbench мы не запускали с 2 ноября. Тогда сборка была на 96% от KVM, начальная загрузка pgbench на 67%, а его тест только на чтение с одним клиентом на 87%.
Где код
Работа попала в master тремя слияниями: vm-perf, vm-perf2 и vm-perf3. Что менял и что намерил каждый прогон, записано в том же списке дел, а сырые результаты всех прогонов лежат в bench/vm/results.