RAID 1+0

История первая, загадочная.

Очень уважаемая в Кыргызстане телекоммуникационная компания потеряла RAID. Так получилось – RAID 1+0 одним «прекрасным» утром отказался работать. Судя по тому, что демонстрировала передняя панель устройства – вышел из строя один из дисков. Позвонили нам. Вопрос звучал так: заработает ли снова массив, если вышедший из строя диск склонировать, и на его место поставить клон? Мы честно предупредили: почти 100%, что нет. Однако у сисадминов свои тараканы в голове, и вот перед нами красуется один из дисков массива. Быстро разобравшись с проблемой, мы склонировали накопитель, и довольный сисадмин убежал, напевая, восвояси.

Через пару часов он позвонил снова. В голосе уже не было уверенности. Конечно, наш прогноз оправдался: клон «больного» не излечил массива. Надо восстанавливать данные.

По прошествии небольшого времени у меня на столе оказались уже все шестеро участников событий. Но это было только начало…

Работа была срочной (несколько отделов той самой компании ждали ее результатов – им попросту не с чем было работать), я уже не смыкал глаз вторую ночь, кропотливо исследуя диски сектор за сектором. Казалось бы, работа не должна быть уж очень сложной – подумаешь, два страйпа, собранных в зеркало. Но что-то не срасталось, страйпы собирались с данными, часть из которых была разрушена. Такое в случае с массивами бывает только в одном случае: один из дисков массива имеет хотя и правильные, но неактуальные данные.

Возник вопрос: как такое могло случиться со страйпом? На то, чтобы это выяснить, ушли почти сутки. Ах, если бы тот сисадмин рассказал все сразу, сколько времени это сэкономило бы… Хотите знать, в чем оказалось дело?

А вот. Когда массив развалился первый раз, он, как водится для таких умных устройств, решил сам себя починить. Для этого у массивов есть специализированные диски – hot spare – они не участвуют в работе RAID до тех пор, пока один из его дисков не прикажет долго жить. Как только выходит из строя один из накопителей массива – его подменяет hot spare, а контроллер массива своими средствами начинает перестроение (rebuild) всей системы. Ну и как результат – массив работает, hot spare в строю, а свежие трупы вчерашних живых накопителей несут на кладбище.

Но это в том случае, если у вас массив с проверкой четности (RAID-5 или RAID-6). Для его ребилда не требуется иметь в системе все диски исправными, так как данные со всех накопителей массива распределены по всему массиву, и если один из дисков выходит из строя, два других, содержащие и его данные тоже, поддерживают работоспособность массива, а в случае команды на ребилд – на них имеется достаточно данных для того, чтобы сформировать полностью рабочий RAID без привлечения третьих сил =).

Ну а если у вас массив без проверки четности – RAID-0 или RAID-1, то для того, чтобы воссоздать мертвый диск – правильно, вам нужен все тот же здоровый мертвый диск. Ничего так головоломочка?

В случае с нашим массивом все оказалось очень интересно. Массив пытался переребилдиться, но отваливался по ошибке – два раза, пока у него были доступные hot spare. Затем в него начали «пихать» диски в надежде на то, что ребилд дойдет до конца, и массив заработает. Увы… Это привело лишь к тому, что массив в один прекрасный момент решил, что один из его родных дисков – hot spare, и начал ребилдиться на этот накопитель. Так была потеряна единственная возможность относительно легко восстановить данные.

Когда я все это выяснил, я попросил того самого сисадмина принести мне все диски, которые когда-либо касались этого RAID-массива. В итоге к уже имеющимся шести добавилось еще три. И началось великое колдунство. Сначала я выбрал из этой кучи диски, которые точно не участвовали в ребилде. Потом я выбрал из оставшихся те диски, которые точно относились к единственному несуществующему накопителю (их оказалось 5 – а должно было быть 2). Вслед за этим я начал собирать из этих пяти дисков один единственный, правильный, утерянный в пучине ребилдов, накопитель, который мог спасти данные. Собрал (на это ушло почти сутки – границы областей, коснувшихся изменений приходилось искать глазами, автоматизировать не получалось никак – дисков то пять, данные «размазаны» по ним всем). Завел массив. Ура! Все данные на месте.

История вторая, грустная

Нет, вы не подумайте. Конец у истории хороший. Грустная она потому, что организация в 3000 человек три дня ждала зарплату. Почему тря дня? Скоро дело делается, да не скоро данные копируются. Русская народная мудрость. Но – по порядку.

Не прошло и недели после того, как мы восстанавливали данные телекоммуникационной компании, как к нам попал другой массив. Скажу сразу – намного сложнее, чем предыдущий. Во-первых, он был на дисках с интерфейсом SAS. Во-вторых, он состоял из дисков разного объема. И в третьих, это был не совсем RAID.

После того, как мы склонировали все диски массива (странное слово для того, чем он оказался, но все же…), мы обнаружили, что реально в каком-то массиве находятся только 2 накопителя: они были абсолютными клонами, т.е. были объединены в зеркало. Все остальные диски были разными по содержимому. Выходило так, что они работали в массиве независимо, и в системе, очевидно, виделись каждый как отдельный накопитель.

Ничего себе, массивчик…

А оказалось, что старый сисадмин ушел, новый – пришел, и решил, что негоже хорошему блэйд-серверу в каждой корзине по диску иметь, нехай будет массив! Сказано – сделано. Запустилось создание массива. Да вот незадача – диски то разной емкости. На таких дисках классические массивы не строятся, это вам не DROBO. Отвалилось создание массива с ошибкой.

И так три раза.

На четвертый раз понял сисадмин: не только массива нет, но еще и данных.

И позвонил нам.

Наученные горьким опытом, мы попросили привезти все диски массива. Первичный анализ показал, что данные в общем не пострадали, но слегка «перемешаны» не совсем удачными ребилдами. Ну как – слегка. Первые 100 Гигабайт на каждом из дисков представляли собой кашу из данных их самих и их соседей. Каких именно соседей – еще предстояло выяснить.

В таких случаях здорово выручает работа с образами. На физических дисках нельзя «откатить» изменения, если у тебя нет резервной копии. С образом все проще. Поскольку это файл, с ним можно проворачивать все файловые операции без ограничений. Да и резервировать файл намного проще, чем диск (хотя образ, по сути, и есть резервная копия накопителя).

Вернув сектора с разных дисков на положенные им места, мы получили полный доступ к данным, скопировали их на исправный накопитель, и передали заказчику.

И снова – все довольны =)

Статья взята с сайта www.911.kg