ext4 в nos: корень, который переживает отключение питания
Новые установки nos получают ext4, которую ядро пишет через собственный журнал: имена и данные, освобождение любого объёма через список сирот, проверка каждой контрольной суммы при каждом чтении. Как она собрана из трёх независимых прочтений одного формата, как её сверяют с e2fsck и Linux и что нашлось на первом настоящем сервере и при ревью.
До 29 октября каждая корневая файловая система, которую делал nos, была ext2. ext2 простая, и на сервере как раз эта простота и мешает. Журнала у неё нет, поэтому отключение питания посреди изменения может оставить файловую систему наполовину изменённой, а чинит такое e2fsck, запущенный из другой системы. Контрольных сумм у неё тоже нет, поэтому повреждённый блок читается как то, что в нём теперь записано. На машине, где единственная консоль — сеть, и то и другое означает поход в rescue-систему.
ext4 решает обе проблемы. С журналом изменение попадает на диск целиком или не попадает вовсе, а следующее монтирование воспроизводит всё, что было закоммичено. С metadata_csum каждый суперблок, дескриптор, инод, блок экстентов и блок каталога несёт CRC32C, и повреждённый блок отвергается, а не принимается на веру. Кроме того, на ext4 уже работает большинство Linux-систем, так что e2fsck, debugfs и сам Linux могут проверить корень nos и рассудить, правильно ли nos в него записал.
С 29 октября nos-install, scripts/mkrootfs.sh и scripts/build-disk.sh делают ext4. Возможности они перечисляют по одной, начиная с пустого списка: has_journal, ext_attr, resize_inode, dir_index, filetype, extent, 64bit, flex_bg, sparse_super, large_file, huge_file, dir_nlink, extra_isize и metadata_csum. Это ext4 из e2fsprogs 1.46 — та, с которой умеет загружаться GRUB 2.06. Корень Hetzner EX44 работает на ext4 с того же дня. Драйвер ext2 остался как был — для корней, сделанных раньше.
Сделали это вот эти коммиты, влитые как 3b00c7f, а после ревью — как a92314e:
| Коммит | Что добавил |
|---|---|
| 4a6cc5d | extfmt: формат ext2/3/4 и все контрольные суммы на нём — крейт без ядра внутри |
| 9443eb4 | Формат журнала и план его воспроизведения, байт в байт сверенный с воспроизведением e2fsck |
| 299f063, eea5268 | Собственная ext4 фаззера: mkfs и проверка, не разделяющие с extfmt ни строчки кода, со своим воспроизведением журнала и своим освобождением сирот |
| 8cff912 | Драйвер только для чтения: каждая контрольная сумма при каждом чтении, чтение сквозь журнал, который никто не воспроизвёл |
| 6993c6e | Запись имён через журнал: одна транзакция на вызов, воспроизведение журнала при монтировании, остановка журнала на первой неудачной записи |
| 5ef7e7c, db16c2a | Данные файлов: в порядке ordered, незаписанные экстенты становятся записанными, блоки уходят пачками |
| bf9ed7e | Освобождение любого объёма через список сирот и последние свободные блоки, оставленные для punch |
| d87ab13 | Новые установки — на ext4 |
| cd0758b | Монтирование на запись файловой системы любого размера — то, что понадобилось корню EX44 |
| 66a6506 | Найденное при ревью и куча фаззеров, ограниченная так же, как куча ядра |
Три прочтения одного формата
Обычно драйвер файловой системы и его тест делят один парсер. Тогда они согласны друг с другом независимо от того, прав парсер или нет. ext4 в nos — это три отдельных прочтения формата, и каждое проверяется по остальным.
extfmt (src/crates/common/storage/extfmt) — это формат и ничего больше: суперблок, дескрипторы групп, иноды, деревья экстентов, карты блоков, блоки каталогов и атрибутов, все контрольные суммы, которые на них ставят metadata_csum и gdt_csum, и журнал JBD2. Ядра в нём нет, unsafe тоже (#![forbid(unsafe_code)]), всего 2492 строки. Он же решает, что nos делает с файловой системой: отказывает, монтирует только для чтения или пишет. Через него читает драйвер ядра и hvboot — программа, которая загружает Linux-гостя из его собственного /boot.
extfmt-test.py (в CI) сверяет его с e2fsprogs. mke2fs делает файловые системы нескольких видов — ext4 по умолчанию, с блоками по 1 КиБ, с 128-байтными инодами, с gdt_csum, ext3, ext2 — с двухуровневым деревом экстентов, индексированными каталогами и атрибутами в отдельном блоке. Каждая контрольная сумма каждого блока метаданных должна совпасть с той, что считает extfmt. Потом байты, покрытые контрольными суммами, меняются по одному, и заметить это должны оба — и extfmt, и e2fsck -fn. Потом debugfs пишет журналы и оставляет их невоспроизведёнными, и план воспроизведения от extfmt должен дать тот же образ, что и e2fsck -E journal_only, байт в байт — в том числе когда лог перешёл через конец кольца.
Драйвер (src/crates/layers/fs/src/ext4) — сторона ядра: 5139 строк в 14 файлах, и тоже без unsafe. Он монтирует, читает через extfmt и пишет через свой журнал.
Судья — собственная ext4 фаззера: mkfs, проверка, воспроизведение JBD2 и освобождение сирот, написанные отдельно, в tests/fuzz/fs/src/image/ext4. Прежде чем что-то запускать, fs-fuzz.py проверяет, что ни один судья не упоминает extfmt. Самого судью, в свою очередь, сверяют с e2fsprogs: fs-fuzz.py --e2fsck даёт e2fsck проверить образы судьи и его вердикты по повреждённым образам и сравнивает воспроизведение журнала у судьи и у e2fsck байт в байт.
Сначала — чтение
Первая версия драйвера только читала. Читает он всё семейство, включая ext2 и ext3, хотя обычную ext2 по-прежнему берёт драйвер ext2, если mount ext4 не попросит именно этот. То, за что он не берётся, отвергается сразу: inline data, bigalloc, шифрование, casefold, verity, внешний журнал и ещё несколько возможностей. То, что он умеет читать, но не писать, монтируется только для чтения, с объяснением причины: нет журнала, нет экстентов, нет metadata_csum, есть orphan_file или квоты.
Каждая контрольная сумма проверяется при каждом чтении: суперблок и дескрипторы — при монтировании, инод, блок экстентов или блок каталога — когда его читают. Что не прошло проверку, о том сказано, и оно не используется. Дескриптор с плохой суммой отменяет монтирование, суперблок тоже — за одним исключением: суперблок, разорванный отключением питания, пока в журнале ещё лежит его копия. По такому суперблоку только находят журнал, и ничего больше. Блок с плохой суммой проваливает своё чтение или выпадает из каталога, а в журнале ядра появляется строчка о том, какой именно.
Журнал с транзакциями, которые никто не воспроизвёл, — после аварии под Linux или под nos — монтирование только для чтения не воспроизводит: оно не пишет вообще ничего. extfmt вычисляет, что записало бы воспроизведение, и каждое чтение этих блоков обслуживается из самой новой их копии в журнале. Пока так, mounts показывает journal-not-replayed=<blocks>.
Запись: один вызов — одна транзакция
Каждый вызов, меняющий метаданные, — одна транзакция. Всё, что она меняет, хранится отдельно, копиями целых блоков, пока журнал не примет всё целиком. Вызов, который проваливается раньше, не оставляет никаких изменений — ни на диске, ни в дескрипторах в памяти, ни в дереве, которое видит VFS. Блок можно изменить только как блок определённого вида — битовую карту, дескрипторы, блок таблицы инодов, лист или индекс каталога, блок экстентов, блок атрибутов, — и контрольные суммы его вида ставятся, когда транзакция запечатывается. Размер транзакции ограничен: четверть журнала и никогда не больше 512 блоков.
Коммит пишет начало лога в суперблок журнала, если лог был пуст, потом блоки отзыва (revoke), дескрипторы и копии. Затем сброс кеша устройства, и только потом блок коммита с принудительной записью на носитель. Лишь после этого новые блоки становятся тем, что видят чтения. Они остаются закреплёнными в памяти, пока контрольная точка не запишет их на место: когда лог заполнен наполовину, когда закреплено больше 1024 блоков, когда следующий коммит не поместится и при размонтировании. После чистого размонтирования лог пуст, а счётчики свободного места в суперблоке равны сумме по группам.
На EX44 это выглядит так:
$ mounts
ext4 on / nvme05 label=nos journal=1447/32767 seq=6054 rw
procfs on /proc ro
Занято 1447 блоков лога из 32 767, следующая транзакция получит номер 6054.
Запись, проваленная в коммите или контрольной точке, или проваленный сброс кеша останавливают журнал. Больше не пишется ничего: само устройство с этого момента отказывает в любой записи и сбросе, вызов проваливается, чтение продолжает работать, а файловая система остаётся следующему монтированию с его воспроизведением журнала — или e2fsck. Исключение одно. Блок данных файла, который не записался, проваливает только свой вызов, и его транзакция откатывается, так что на неудачно записанный блок ничто не ссылается. Плохой сектор одного файла — скажем, диска гостевой машины — не должен утягивать за собой все остальные файлы. Режим ordered в Linux по умолчанию поступает так же.
Данные файлов пишутся как в data=ordered у Linux: запись режется на транзакции не больше 256 блоков, и данные каждой лежат на устройстве до её коммита, так что блок, который коммит отдаёт файлу, никогда не покажет своё старое содержимое. Блок в дыре выделяется и пишется целиком, с нулями вокруг записанного. Блок в незаписанном экстенте тоже пишется целиком и становится записанным, а экстент разбивается вокруг него. На устройство блоки уходят пачками до 64 штук, и на NVMe и virtio-blk они в полёте одновременно.
Освобождение — то место, где ограниченная транзакция встречается с неограниченным файлом. Образ диска гостевой машины может занимать миллионы блоков, и их освобождение не помещается ни в какую одну транзакцию. Поэтому удаление, которое не укладывается в одну транзакцию, в первой же убирает имя и ставит инод в список сирот в суперблоке. Следующие транзакции освобождают по ограниченной порции — до 32 экстентов, а освобождённое хранится отрезками, так что файл из миллионов блоков — это горстка отрезков. Последняя транзакция снимает инод со списка. Авария в промежутке оставляет сироту, и следующее монтирование на запись освобождает её после воспроизведения журнала — так же, как Linux и e2fsck освобождают сирот, оставленных другим ядром. Каталог, в котором когда-то были миллионы имён, освобождается так же.
Punch — а в него превращается discard гостевой машины — может взять последние восемь свободных блоков, которые больше никому не выдаются. Punch внутри экстента разбивает его, и на заполненном диске лист, который нужен для этого разбиения, не должен мешать гостю вернуть свои блоки.
Как это проверяется
fs-fuzz.py собирает собственные крейты ядра block и fs в программу для хоста, поверх дисков, носитель которых принадлежит фаззеру: у каждого есть кеш записи, который теряется при отключении, выключатель питания и запросы, которые можно заставить проваливаться. Четыре цели относятся к ext4:
ext4монтирует образы судьи только для чтения — неинициализированные группы, полные мусора, глубокие деревья экстентов, незаписанные экстенты поверх мусора, индексированные каталоги, журналы, чьи самые новые копии стоят над устаревшими блоками, сироты в списке. Каждый ответ должен совпасть с моделью, и не должно быть записано ничего.ext4badповреждает эти образы. Каждый либо отвергается, либо обходится, и никогда не вызывает панику, запись или утечку.ext4rwмонтирует на запись: имена и данные, открытые файлы, образы дисков, файлы с двумя именами, почти заполненный диск, и каждый ответ — как в модели. Она отключает питание на выбранных запросах и перед каждым отдельным запросом вызова. Каждую такую картину диска потом воспроизводят трижды — судья, ядро, смонтировавшее её только для чтения, и ядро, смонтировавшее её на запись, — и все три должны совпасть, быть чистыми и содержать дерево, которое мог оставить вызов, бывший в полёте. Для записи каждый сектор должен содержать либо то, что в нём было, либо то, что в него писали, и ничего из чужого файла. Ещё она заставляет запросы проваливаться: блок данных файла, который не записался, должен провалить только свой вызов, а после любой другой неудачной записи в этом монтировании не должно быть записано ничего.ext4sys, появившаяся после ревью, делает файл, чей экстент указывает на собственные блоки файловой системы. О ней ниже.
Гейт прогоняет 68 601 вход по всем целям. Затем fs-fuzz.py --e2fsck, тоже в CI, отдаёт на суд e2fsck всё, что оставляет ext4rw, — и чистые образы, и картины после отключения питания.
Последнее слово за Linux. ext4-test.py загружает nos под QEMU, тоже в CI, на образах, которые сделали mke2fs и debugfs:
- Читает их из шелла nos, и CRC-32 каждого файла совпадает с хостовым.
- Меняет имена и данные из шелла, и e2fsck находит образ чистым, а экстенты в debugfs — такими, как записано.
- Убивает загрузку посреди изменений, и образ должен воспроизводиться чисто и в e2fsck, и в Linux, а MD5 каждого файла — совпадать с моделью.
- Читает сквозь журнал, который debugfs оставил невоспроизведённым, и байты образа после этого не меняются.
- Освобождает сирот, оставленных debugfs, при монтировании на запись.
- Монтирует на запись файловую систему на тебибайт с журналом на 1 ГиБ. Зачем — дальше.
EX44: 520 КиБ
29 октября корень EX44 на 16 ГиБ сделали ext4. Из Ubuntu, на том же разделе, mke2fs сделал её с возможностями nos-install, тем же UUID и меткой и журналом на 128 МиБ. Дерево скопировали обратно из резервной копии ext2 через cp -a --sparse=always и сверили SHA-256 каждого файла с копией.
Потом загрузился nos — и не смонтировал корень на запись:
ext4: no memory for the system zone
Ядро ушло в запасную раскладку: без /etc/rc, а значит, и без sshd, на машине, где единственная консоль — сеть. Чтобы вернуться в Ubuntu, понадобился сброс через робота Hetzner.
Системная зона — это множество блоков, которые не может занимать ни один файл: метаданные каждой группы и журнал. Драйвер собирал её из четырёх отрезков на группу и одного на блок журнала и только потом склеивал. Для журнала на 128 МиБ, то есть на 32 768 блоков, это давало 520 КиБ одной аллокацией. Куча ядра отдаёт одной аллокацией не больше 128 страниц, 512 КиБ, а дальше kernel_alloc возвращает null. Ещё две аллокации росли так же и провалились бы на файловых системах побольше: карта журнала, номер блока на каждый его блок (2 МиБ для журнала на 1 ГиБ), и дескрипторы, хранившиеся одной аллокацией (512 КиБ — всё, что даёт одна аллокация, — для 8192 групп тебибайта). Ни один гейт не видел ни одной из них. Фаззеры работают на хосте, где аллокатор отдаёт гигабайты, а у каждого образа в тестах журнал был на несколько МиБ.
Реплика воспроизвела это под QEMU: та же строка mke2fs, дерево, записанное Linux, на NVMe. cd0758b хранит то, что монтирование держит о геометрии, кусками. Карта журнала — это теперь отрезки, которыми её отображает инод журнала: один отрезок или несколько, какой бы длины ни был журнал. Системная зона склеивается по мере вычисления, а дескрипторы хранятся по блоку. Вот почему ext4-test.py монтирует на запись файловую систему на тебибайт: 8192 группы, журнал на 1 ГиБ, и каждая из трёх аллокаций в старом виде вышла бы за предел кучи. На ядре до исправления тест говорит mount failed.
После этого EX44 гонял с этого корня свои две ВМ: панель управления и Ubuntu. Внутри ВМ с Ubuntu записали 1 ГиБ и сделали sync, сбросили кеши, и SHA-256 прочитался тот же. fstrim в госте вернул через punch 4,1 ГиБ, а после чистой перезагрузки nos e2fsck нашёл чистыми и корень, и собственные файловые системы обеих ВМ. 30 октября, перед установкой следующего ядра, корень проработал под обеими ВМ восемь часов, и e2fsck не нашёл в нём ничего:
nos: 86/1048576 files (4.7% non-contiguous), 1000111/4194304 blocks
Он только заметил, что два дерева экстентов могли бы быть уже, но это предложение оптимизации, а не повреждение.
Ревью и куча, которая никогда не отказывала
После слияния мы провели ревью драйвера, extfmt и того, как VFS отдаёт гостю образ диска. Самая серьёзная находка повторила историю EX44. Планировщик воспроизведения в extfmt держал список всех транзакций и всех копий лога. Для лога из 8193 транзакций этот список просил у кучи 917 504 байта разом, и любое монтирование такого журнала — на запись или только для чтения — закончилось бы паникой. Собственный журнал nos может туда дойти: несколько часов мелких коммитов на корне от 32 ГиБ, где журнал от mke2fs занимает 256 МиБ, а потом авария. Теперь планировщик читает лог в три прохода, как это делает восстановление в Linux, — проход по логу с запоминанием блоков, которые он называет, отзывы и копии — и хранит отображения, растущие по одному узлу.
Остальное — коротко:
- Файл мог указывать на собственные блоки файловой системы. Системная зона охраняла только то, что выделял сам драйвер, а собственным экстентам файла верили, если они лежали внутри файловой системы. На образе, где файл указывал на таблицу инодов, при всех верных контрольных суммах, запись в файл шла поверх таблицы, а диск гостевой машины на таком файле делал бы это прямо из гостя. Теперь каждый отрезок данных файла проверяется
Meta::file_may_own— аналогомext4_inode_block_validиз Linux. Каждый узел дерева экстентов, прочитанный с диска, проверяется перед изменением так же, как его проверяет Linux: экстенты не короче блока, по порядку, не пересекаются, в пределах 2^32 блоков, которые есть у файла. - Список сирот предполагал, что инод попадает в него один раз и уходит из головы. Вызов, у которого освобождение остановилось на полпути — скажем, на проваленном чтении, — оставляет свой инод в списке, и следующий вызов может снова обрезать тот же файл или удалить его. Поставленный дважды, список зацикливался. Освобождённый, пока стоит в списке, инод оставлял в списке ссылку на неиспользуемый инод. Теперь инод стоит в списке не больше одного раза и уходит из любого места. Сироты без экстентов — fifo, сокет, узел устройства, быстрая символьная ссылка, которые Linux оставил там ещё открытыми, — освобождаются, а не переводят монтирование в режим только для чтения.
- Остановка журнала касалась только журнала. Устройство продолжало принимать записи, в том числе следующую транзакцию вызова из нескольких. Теперь устройство в них отказывает.
- Некоторые обходы держали список всех узлов, которые предстоит посетить, а он переваливает за 512 КиБ на 65 537 узлах. Теперь они идут по дереву по его собственным ссылкам.
У 917 504 байт и 65 537 узлов та же причина, что и у 520 КиБ: аллокатор фаззеров никогда не отказывал. Теперь отказывает. tests/fuzz/common/machine/heap.rs отказывает коду ядра в любой аллокации больше 128 страниц — ровно так, как отказал бы kernel_alloc, — и печатает backtrace того, кто просил. Собственные большие аллокации фаззера — его модели, образы и судьи — помечены как его собственные и проходят. У каждого исправления есть контрольный прогон, который проваливается на коде до него:
extfmt-test.pyтеперь планирует лог из 9000 транзакций и не допускает ни одной аллокации больше 512 КиБ; старый планировщик просит 917 504 байта.- Новая цель
ext4sysмонтирует на запись образ с файлом, чей экстент указывает на таблицу инодов, дескрипторы или лог журнала. Она пробует запись, чтение, обрезку, удаление и образ диска на этом файле, и каждая попытка должна получить отказ, а эти блоки к размонтированию должны остаться прежними. На старом драйвере уже первый вход пишет в таблицу инодов. - mkfs судьи теперь кладёт в список сирот иноды без экстентов, и на старом драйвере
ext4rwполучает монтирование только для чтения.
Чего пока нет
Каждый пункт ждёт, пока его не потребует измерение или нужда. Полный список — в Filesystems.
- Групповой коммит. Каждый вызов, меняющий метаданные, коммитит до возврата: сброс кеша, лог, ещё один сброс и блок коммита. Мелкий вызов стоит столько, сколько стоят сбросы кеша устройства. Вызовы, пришедшие вместе, могли бы делить один коммит.
- Предварительное выделение.
fallocateнет. Образ диска, который делаетhv create, — разреженный файл, и его блоки выделяются, когда гость впервые в них пишет. - orphan_file. mke2fs из Debian 13 включает его по умолчанию, и такую файловую систему nos монтирует только для чтения. Установки его не включают.
- Запись в индексированные каталоги. Каталог с htree nos читает как линейный, которым он тоже является, и сбрасывает индекс, когда впервые добавляет в него имя.
- Discard. То, что возвращают удаление, обрезка или punch, не отправляется устройству как discard.
- CRC32C на процессоре. Каждая контрольная сумма считается по таблице, по байту за раз. Инструкция
crc32из SSE4.2 и инструкции CRC32C в arm64 не используются.