nix: RAID

https://serverfault.com/questions/589070/how-to-monitor-the-hard-disk-status-behind-dell-perc-h710-raid-controller-with-c

Во фре есть очень удобная утилита mfiutil, увы но тут её нет.

Вариант первый, для мазохистов (или у кого уже были скрипты): MegaCLI. Аццкая хрень, придуманная то ли индусами, то ли инопланетянами. В общем, это дерьмо работает, хоть и не обойтись без помощи гугла.

http://blog.ispsystem.info/2017/04/megacli-centos-7.html

И чуть о вариантах запуска
получить информацию о контроллере
megacli -AdpAllInfo -aAll

Информация по дискам

megacli -PDList -aALL

Вариант второй, omreport и подобное
http://linux.dell.com/repo/hardware/omsa.html

Вариант третий, говорят сами инженеры lsi поняли какое говно они сделали и добавили поддержку storcli

В случае c Dell есть нюанс, просто добавить группу дисков через iDRAC невозможно без перезагрузки, при том что megacli это умеет, как и сам контроллер. Но что ещё хуже, порой даже ребут не поможет, добавляем группу дисков, ребутаемся, а задача так и висит в Queue Job. И ещё добавим трагедии, гуглинг показывает что иногда для очистки queue job не помогает даже выключение по питанию, сбросу конфгигурации контроллера итд. Так что желательно поставить ещё perccli
https://www.dell.com/support/home/us/en/04/drivers/driversdetails?driverid=f48c2

Дальше »

пятница, 8 декабря 2017 г.

fake (bios) raid + UEFI

При установке centos поверх bios (fake) raid есть 3 нюанса:
1) оно требует раздела /boot/efi типа fat32 (с небольшими изменениями)
2) формат диска обязательно должен быть GPT
2) после установки оно просто не запустится.

И ещё момент. После загрузки в консоль установщика и настроенных рейдах в биосе - будет по 2 устройства, сам рейд и imsm. Это устройство и связывает биос рейд и системный. Плюс - при этом в формате метадаты самого раздела есть нюансы.
Чуть подробнее тут:
https://raid.wiki.kernel.org/index.php/RAID_setup#External_Metadata_.282011.29
Косяк в том, что он похоже несовместим с EFI.
Про форматы метадаты
https://raid.wiki.kernel.org/index.php/RAID_superblock_formats

Дальше »

воскресенье, 6 августа 2017 г.

freebsd и raid контроллеры lsi

Для старых версий, где используется драйвер mfi, не так просто получить smart с дисков. И если в линуксе есть -d megaraid,0 - тут это не работает. Но легко делается через /dev/passX, просто сказав kldload mfip и потом smartctl -a /dev/pass0 например.

https://www.smartmontools.org/wiki/Supported_RAID-Controllers

четверг, 24 октября 2013 г.

О надёжности рейдов

Неожиданно обнаружилось, что в блоге нет очень важной заметки про надёжность RAID разных уровней.

http://blog.aboutnetapp.ru/archives/975

"RAID-5 на 7 дисках данных (7d+1p) почти в четыре тысяч раз менее надежен, чем RAID-6, на тех же 7 дисках данных (7d+2p)!"

Почему RAID-5 — «mustdie»?

http://habrahabr.ru/post/78311/

Почему RAID5 — «must have»?

http://habrahabr.ru/post/78348/

Но тут следует читать скорее как "почему raid-6 лучше чем raid-10", помня про оочень долгое время перестроения у raid-5 и существенное снижение производительности, в отличии от той же 10, где надо отзеркалировать только 1 диск, вообще без вычислений, и существенный рост нагрузки на оставшиеся диски, с шансом "добить" еще диск и гарантированно потерять весь массив.

Ну и про write hole помним.

debian: ставим утилиты для raid-контроллеров

Штатно в дебиляне нет программ для управления raid-контроллерами, того же arcconf. Исправим это недоразумение.

Подключаем доп репу hwraid (на примере 7, для 6 заменяем wheezy на squeeze)

cat > /etc/apt/sources.list.d/hwraid.list <<EOF

deb http://hwraid.le-vert.net/debian wheezy main

EOF

(а вообще -- branch can be lenny, squeeze, wheezy and sid for debian, or hardy, intrepid, jaunty and lucid for ubuntu.)

GPG сигнатуры

wget -O - http://hwraid.le-vert.net/debian/hwraid.le-vert.net.gpg.key | sudo apt-key add -

обновим листы

apt-get update

Теперь доступны такие утилиты как aacraid-status, arcconf, cciss-vol-status, hpacucli, megactl итд.

Да, при попытке установить ASM выдаст, что не может найти jre5 или jre6, надо искать последнюю рабочую версию jre-6 на просторах интернета.

Линки

http://hwraid.le-vert.net/wiki/DebianPackages

понедельник, 8 апреля 2013 г.

Dell PERC (рейд-контроллеры) H310, H710, H710p

Dell PowerEdge Raid Controller - PERC

Особенности.
Эти серии -- под специальный разъём, состоят из 2 частей: SAS порты размещаются на материнской плате, и внешний заменяемый модуль, который подключается к этим портам.

H310 - HBA, в основе LSISAS 2008
H710, H710P - в основе LSISAS2208 dual-core PowerPC ROC (хотя тут указан чип LSI SAS 2108)
P-версия имеет поддержку CashCade (какой версии?) - SSD кэш, из отличий только памяти не 512Мб а 1Гб + лицензия на этот cachecade. 0 1 2 3 4
Есть 2 версии CacheCade - 1 умеет кэшировать только чтение, а 2.0 - ещё и запись. Ограничение - до 32 кэш-дисков на контроллер, макс 512Гб.

При желании/необходимости можно вшить прошивку от оригинального LSi (сравнивать с сериями 9260, 9280), сняв всякие локи на фирменные SSD, но смысл? Правильнее тогда -- поставить отдельный контроллер например от Adaptec.

User's Guide ru
http://www.servethehome.com/lsi-sas-2208-raid-controller-information-listing/

среда, 13 марта 2013 г.

RAID-5 write hole и ZFS

У Raid-5 есть достаточно серьёзная проблема, которая называется write hole - при записи данных и отключении питания может получиться, что на дисках данные отличаются.

"RAID-5 (and other data/parity schemes such as RAID-4, RAID-6, even-odd, and Row Diagonal Parity) never quite delivered on the RAID promise -- and can't -- due to a fatal flaw known as the RAID-5 write hole. Whenever you update the data in a RAID stripe you must also update the parity, so that all disks XOR to zero -- it's that equation that allows you to reconstruct data when a disk fails. The problem is that there's no way to update two or more disks atomically, so RAID stripes can become damaged during a crash or power outage."
https://blogs.oracle.com/bonwick/entry/raid_z

У zfs этой проблемы нет, поскольку там совсем другие принципы - Copy-on-Write и данные не перезаписываются, плюс встроенное версионирование. Да, иногда и у ZFS бывают проблемы, но они гораздо реже, а за счёт того, что все данные имеют чексумму, система автоматически может обнаружить и зачастую исправить сбой в данных. Это особенно актуально на бытовом железе.

И ещё немного про raid-z
https://blogs.oracle.com/ahl/entry/what_is_raid_z
http://www.stableit.ru/2010/08/raid-z.html

Основные недостатки ZFS -- требуется больше памяти и дикое падение производительности при заполнении пула более чем на 50-85%, смотря какой объём пула.

среда, 6 февраля 2013 г.

SAS контроллеры

thg: Обзор и тест четырёх контроллеров SAS 6 Гбит/с

Выбор RAID-контроллера

У LSI есть интересная технология CacheCade Pro 2.0, где подключаются SSD как кэш чтения, и сам контроллер кэширует наиболее часто читаемые данные.

"Карта Adaptec автоматически распознаёт то, что она называет конфигурацией HybridRaid, которая состоит из смеси жёстких и SSD-дисков, предлагая RAID на уровнях от 1 до 10 в такой конфигурации. Эта карта превосходит своих конкурентов благодаря специальным алгоритмам чтения/записи. Они автоматически направляют операции чтения на SSD, а операции записи и на жёсткие диски, и на SSD. Таким образом операции чтения будут работать как в системе только из SSD, а запись будет работать не хуже, чем в системе из жёстких дисков."

Достаточно интересная серия контроллеров LSI MegaRAID SAS 9240-4i или LSI MegaRAID SAS 9260-4i
SAS9211-8I
IBM ServeRAID M5014 = LSI 9260-8i (1 2)
IBM ServeRAID M1015 = LSI 9220-8i (HBA) (3 4)

воскресенье, 13 августа 2023 г.

воскресенье, 18 ноября 2018 г.

пятница, 8 декабря 2017 г.

воскресенье, 6 августа 2017 г.

четверг, 24 октября 2013 г.

понедельник, 8 апреля 2013 г.

среда, 13 марта 2013 г.

среда, 6 февраля 2013 г.

воскресенье, 13 августа 2023 г.

воскресенье, 18 ноября 2018 г.