Xen Cloud Platform = XAPI

http://www.xenproject.org/developers/teams/xapi.html

Note that we never really had a clear name for the XAPI project. The project was initially named after the Xen Cloud Platform, which is essentially a distribution of the Hypervisor, the XAPI toolstack and various other components. Later, the project also delivered packages into Linux distributions. This has created some confusion in the community! To make this clearer, the project team proposes to name the project after the XAPI toolstack. In other words, the project would be named after the codebase instead of one deliverable that the project produces.

Последняя версия Xen Cloud Platform - 1.6, и, насколько я понимаю, сейчас достаточно скачать XenServer и получить XAPI.

xen: ограничиваем канал

это называется domu network bandwidth throttling и когда-то регулировалось параметром rate= в vif конфигурации domu, например, rate=128KB/s

http://unixforum.org/index.php?showtopic=133808&st=0&p=1233027&#entry1233027

Доставка приложений и тонкие клиенты. Можно доставлять конкретные приложения, можно целиком виртуальную машину.

Наиболее интересные технологии -- SPICE (RedHat) и vdi (citrix, vmware)

Технологии у citrix (XenDesktop (протокол ICA)) и VmWare (VMware View Client (протокол PCoIP))

Правильный расчет для VDI (vmware)

часть 1

часть 2

Для xen
http://habrahabr.ru/company/citrix/blog/106015/

FreeBSD в DomU на xen

В HVM запустить не проблема: подключаем диск, сдром, указываем vnc-опции. (подробно - по ссылкам ниже есть)
!! Есть проблемы запуска на AMD, разные версии не запускаются по разному. В результате платформа была заменена на интел.
!!Хорошие новости: Microsoft обеспечит официальную поддержку платформы виртуализации Hyper-V во FreeBSD
Дело в том, что цитрикс, текущий владелец хена, также хороший партнер мелких. Так что кодовая база hyper-v и xen как минимум пересекается, а значит наработки для hyper-v появятся в xen + код, который будет отдан в freebsd, также будет поддерживать и xen. Так что скорее всего через годик фря будет работать и в hvm на всех платформах, и в pv, и драйвера отладят нормально.

PV-режима под amd64 нету. Есть ядро с pv-xen драйверами, так что это будет смешанный режим - запускаться как hvm, но сеть например в pv. Для продакшена не очень хорошая идея, но для тестов и разработки сгодится.
Под i386 есть конфиг XEN - собираем ядро, ставим его куда-либо, откуда можно будет вытащить (make KERNCONF=XEN DESTDIR=/root/myboot kernel), подсовываем в конфиг в dom0. Можно через pygrub (где-то было, что заменяется на pv-grub), но там есть нюансы, напрямую оно не запустится.
Но чтобы собрать ядро, надо уже иметь систему в hvm, что у меня было сделано. С нуля - есть в интернете готовые ядра, проблема найти посвежее. По линкам ниже тоже будет.
Ограничения: максимум 850мб памяти, в PV проблемы с работой VNC - для его запуска скорее всего придется достать бубен...

Из доработок:
1) файл в dom0:
в стандартный конфиг под pv вписываем сеть, диск, память менее 850мб, название машины. Ядро указываем через pygrub или напрямую (kernel = "/var/xen/kernel.8.2"). Для запуска этого достаточно, но словим mountpoint> и надо будет указать /, поэтому сразу можно вписать строку
extra = "vfs.root.mountfrom=ufs:ad0s1a,machdep.idle_mwait=0,boot_verbose=1"
Теперь можно запустить как xm create -c freebsd.pv - и мы увидим весь процесс загрузки.
2) В самой системе. Как минимум, надо в rc.conf скопировать всё про сеть, заменив название нашей карты на xn0 (xen network), так:
ifconfig_re0="inet 192.168.2.5/24"
ifconfig_xn0="inet 192.168.2.5/24"
2 разных сетевых с 1 айпи? Да, можно, поскольку у нас не может одновременно встретиться обе карты и образ получается более "универсальным"
Также будет ругань про консоли
...
May 12 20:21:38 fbsd8 getty[1035]: open /dev/ttyv4: No such file or directory
...
Причина в том, что этих консолей у нас нет. Можно оставить для совместимости, можно закомментировать, но тогда в hvm у нас не будет переключения консолей (а было ли оно вообще? Это же не реальный сервер...)

Сначала такое преобразование было проделано мной методом тыка, но потом найдена хорошая дока Xen FreeBSD 8.2 DomU (PV) -- Step by Step Howto, оттуда же взяты Xen DomU configuration examples - FreeBSD and CentOS и Xen 3.4.3 on CentOS 5.5 -- Tutorial
Собственно, если freebsd интересен - эти доки небольшие и к ознакомлению обязательны, особенно первая дока.

Официальный статус: http://wiki.freebsd.org/FreeBSD/Xen

FreeBSD on EC2
Есть pypxeboot, но это для совсем уж гиков.

Анонсирован выход Xen Cloud Platform (XCP) 1.1

http://www.opennet.ru/opennews/art.shtml?num=32022
http://xen.org/download/xcp/index_1.1.0.html
http://wiki.xen.org/xenwiki/XAPI_on_debian

После семи месяцев разработки увидел свет релиз Xen Cloud Platform 1.1 (XCP), развиваемой силами сообщества разработчиков Xen платформы для организации развертывания и управления работой cloud-инфраструктуры. XCP можно использовать как автономное решение для развертывания сервиса аренды виртуальных серверов, приватных cloud-окружений и инфраструктур промышленной виртуализации, так и как базис для наращивания функциональности и создания новых программных решений, построенных поверх кодовой базы XCP.

Платформа XCP является свободным (GPLv2) ответвлением от продукта Citrix XenServer. Разработчики гарантируют, что XCP всегда будет доступен под свободной лицензией и все части проекта будут открыты. Загрузочный пакет XCP оформлен в виде готового iso-образа (307 Мб), основанного на CentOS и адаптированного для быстрого развертывания хост-системы (Dom0). В комплект входят все необходимые драйверы и модули для поддержки популярных cloud-инфраструктур. Для дистрибутивов Debian и Ubuntu предоставлена возможность установки штатного инструментария XenAPI из специального репозитория, что позволяет на базе Debian и Ubuntu создать вариант сервера виртуализации, полностью функционально эквивалентного стандартному дистрибутиву XCP.

Поддержка стандартных API в платформе XCP дает возможность в случае непредвиденных проблем, например, при нехватке мощности оборудования в пиковые моменты, перенести часть корпоративного «облака» во внешние системы, такие как Amazon EC2, Rackspace Cloud Servers или GoGrid. Консолидация серверов предприятия и их размещение без привязки к физическому оборудованию в инфраструктуре виртуализации позволяет повысить гибкость, увеличить безопасность и понизить затраты, за счет более рационального расходования ресурсов (аппаратное обеспечение не простаивает и нагружается равномерно, новые серверы докупаются по мере необходимости, каждый сервис не пересекается в ОС с другими сервисами и запускается в отдельном окружении). Технология XenMotion позволяет организовать работу высоконадежных конфигураций, за счет горячего резервного копирования виртуальных машин и совместного использования разделяемых ресурсов.


Ключевые отличия xapi по сравнению с xend'ом:

Поддержка концепции «пула» — объединения одинаковых серверов в массу неразличимых вычислительных ресурсов, которые могут заменять друг друга без каких-либо специальных усилий со стороны обслуживающего персонала.
Автоматическая конфигурация всех подсистем серверов согласно общей конфигурации пула, включая автоматическое создание соединений с сетевыми хранилищами и конфигурирование сетевых интерфейсов.
Open vSwitch в качестве основного бэкэнда для сетевых соединений, позволяющий создавать pure-virtual сети с произвольной архитектурой.
Готовые шаблоны для большинства операционных систем.
Единый метод администрирования как PV, так и HVM машин.
Особая версия XenStored (одна из важнейших компонент обвязки зена), полностью переписанная на окамле, с повышенной (по сравнению со стандартной версией) стабильностью и производительностью.
Обширное и продуманное API для управления пулом.

Ещё почитать:
Xen Cloud Platform в условиях предприятия [1] [2] [3] [4]

XEN

Чем больше общаюсь с xen, тем меньше ему доверяю. Периодические танцы с бубном, отвал xm и прочие радости уже вкусил. Проблема в том, что у меня нет возможности "отдельная SAN и пачка нод", поэтому и данные, и хен расположены на 1 машине с centos 5.5

Сегодняшний прикол: работали нормально, но отвалился eth0, всякие /etc/init.d/network restart и ifconfig eth0 down; ifconfig eth0 up не помогли, не сообщало даже об отключении кабеля. Ладно, ребут... Больше виртмашины не запустились.
В логах

cat /var/log/xen/xend.log
[2011-10-18 18:28:17 4528] INFO (SrvDaemon:332) Xend Daemon started
[2011-10-18 18:28:17 4528] INFO (SrvDaemon:336) Xend changeset: unavailable.
[2011-10-18 18:28:17 4528] ERROR (SrvDaemon:349) Exception starting xend (no element found: line 1, column 0)
...
cat /var/log/xen/xend-debug.log
Xend started at Tue Oct 18 18:28:17 2011.
Exception starting xend: no element found: line 1, column 0

И на xm list
Error: Unable to connect to xend: No such file or directory. Is xend running?

Думал, что что-то снова с ядром, и нечаянно обнулил /boot/grub/grub.conf, благо была копия. Как оказалось, на диске кончилось место, потому что хен зачем-то стал машины не выключать, а сейвить. Также непонятно, почему очистить файл мы смогли, но записать новые данные на то же самое место - нет.

Ладно, очистил /var/lib/xen/save/
Перезагрузились.. Не работает. Обновил xen с либами, ядро, перезагрузился раз 20 с разными вариантами загрузки... Глухо.
Гугл на запрос ничего полезного не сказал. Но потом случайно наткнулся на http://www.karlkatzke.com/xend-fails-to-start-due-to-xml-error/ и узнал, что это глюк в xml файлах (возможно, их при ребуте очистило так же, как мне grub.conf). Фикс:
rm -rf /var/lib/xend

Увы, это далеко не первый раз, когда приходилось часами ковыряться, "почему же ничего не работает", и особенно этому помогает гениальная система вывода ошибок "много умных слов ни о чём".

Wake On Lan в CentOS+xen

Для начала, надо поставить пакет ethtool
Потом проверить, что карта умеет wol
ethtool eth0|grep -i Wake-on

Если будет Wake-on: d - оно выключено, надо включить. Но если xen-ядро, в dom0 ничего не выведет - там реальная карта peth0, так что запускать надо будет ethtool peth0

Для включения других машин имеет смысл поставить пакет:
wakeonlan в debian
wol в CentOS
/usr/ports/net/wakeonlan во FreeBSD

Запускать так: wol -p 9 [mac]
Порт указывать обязательно для debian, для центоси не проверял. Зачем - читаем исходную статью
http://www.opennet.ru/tips/2503_lan_linux_ethernet_boot.shtml
Эта заметка - дополнение к той статье.

И еще момент.
Если на компьютере несколько сетевых карт обязательно нужно указать в параметр -i адрес

Запуск новой вирт машины в PV-mode

Есть 2 пути:
1) тянем спец ядро в хост-машину и подключаем
2) ставим в hvm, можно из простого .iso, потом конвертим в PV

Не совсем вариант: оставив в HVM, поставить PV-драйвера.

баги хена-2

end_request: I/O error, dev xvda, sector 323805
end_request: I/O error, dev xvda, sector 323893
end_request: I/O error, dev xvda, sector 323261
Buffer I/O error on device dm-0, logical block 14254
lost page write due to I/O error on dm-0
Aborting journal on device dm-0.
ext3_abort called.
EXT3-fs error (device dm-0): ext3_journal_start_sb: Detected aborted journal
Remounting filesystem read-only
end_request: I/O error, dev xvda, sector 218861
Buffer I/O error on device dm-0, logical block 1204
lost page write due to I/O error on dm-0
end_request: I/O error, dev xvda, sector 853869
Buffer I/O error on device dm-0, logical block 80580
lost page write due to I/O error on dm-0
Buffer I/O error on device dm-0, logical block 80581
lost page write due to I/O error on dm-0

Изменение ядра по умолчанию

Когда ставим хен-ядро, после обновления ядра вполне может загрузиться опять простое.
Спасибо заметке http://phpsuxx.blogspot.com/2010/11/centos-x86-4.html
Оказалось, надо в моем случае открыть /etc/sysconfig/kernel и заменить там
DEFAULTKERNEL=kernel
на
DEFAULTKERNEL=kernel-xen

беды с xen-серверком

Отпала ссш консолька от виртуалки.. В xm console вошел, получил строку
Message from syslogd@ at Thu Nov 11 20:31:38 2010 ...
centos-x64-xen kernel: journal commit I/O error

В дом0 в дмесге

...
end_request: I/O error, dev sda, sector 8726615
sd 3:0:0:0: SCSI error: return code = 0x00040000
end_request: I/O error, dev sda, sector 8726615
sd 3:0:0:0: SCSI error: return code = 0x00040000
...

end_request: I/O error, dev sda, sector 7601039
type=1701 audit(1289516342.948:3540): auid=500 uid=0 gid=0 ses=514 subj=user_u:system_r:unconfined_t:s0 pid=15252 comm="smartctl" sig=7

(попробовал запустить smartctl, получил Bus error)
И это при том, что сейчас файл с виртуалкой лежит на другой машине и получается через NFS.

root@file:/backup/nfs# gmirror status
Name Status Components
mirror/gm0 COMPLETE ad7
ad5

Там все в порядке.


[root@centos-x64-xen named]# /etc/init.d/avahi-daemon stop
Shutting down Avahi daemon: Failed to open PID file: Read-only file system
Failed to kill daemon: Read-only file system
rm: cannot remove `/var/lock/subsys/avahi-daemon': Read-only file system

Интересная хрень!

В хвосте /var/log/messages строки:

Nov 11 20:29:41 centos-x64-xen kernel: ata4.00: exception Emask 0x50 SAct 0x1 SE
rr 0x680901 action 0x6 frozen
Nov 11 20:29:41 centos-x64-xen kernel: ata4.00: irq_stat 0x0c000000, interface f
atal error
Nov 11 20:29:41 centos-x64-xen kernel: ata4: SError: { RecovData UnrecovData Hos
tInt 10B8B BadCRC Handshk }
Nov 11 20:29:41 centos-x64-xen kernel: ata4.00: cmd 61/08:00:27:c1:00/00:00:00:0
0:00/40 tag 0 ncq 4096 out
Nov 11 20:29:41 centos-x64-xen kernel: res 40/00:04:27:c1:00/00:00:00:0
0:00/40 Emask 0x50 (ATA bus error)
Nov 11 20:29:41 centos-x64-xen kernel: ata4.00: status: { DRDY }
Nov 11 20:29:41 centos-x64-xen kernel: ata4: hard resetting link
Nov 11 20:29:42 centos-x64-xen kernel: ata4: softreset failed (device not ready)
Nov 11 20:29:42 centos-x64-xen kernel: ata4: failed due to HW bug, retry pmp=0
Nov 11 20:29:42 centos-x64-xen kernel: ata4: SATA link up 3.0 Gbps (SStatus 123
SControl 300)
Nov 11 20:29:42 centos-x64-xen kernel: ata4.00: configured for UDMA/133
Nov 11 20:29:42 centos-x64-xen kernel: ata4: EH complete
Nov 11 20:29:42 centos-x64-xen kernel: SCSI device sda: 625140335 512-byte hdwr
sectors (320072 MB)
Nov 11 20:29:42 centos-x64-xen kernel: sda: Write Protect is off

Все, лог кончился.. где-то 6 часов назад.

При этом

[root@centos-x64-xen named]# touch /var/xen/nfs/test
успешен. Хотя это как раз нфс-шара...

Следом идущие баги:

[root@centos-x64-xen named]# xm list
Traceback (most recent call last):
File "/usr/sbin/xm", line 5, in ?
from xen.xm import main
File "/usr/lib64/python2.4/site-packages/xen/xm/main.py", line 55, in ?

File "/usr/lib64/python2.4/site-packages/xen/util/xsm/xsm.py", line 7, in ?
....

IOError: [Errno 2] No usable temporary directory found in ['/tmp', '/var/tmp', '/usr/tmp', '/etc/named']

В общем, хана. Надо ребутиться. Проблема в том, что это уже второй раз. Но сначала попробуем хоть чуть-чуть оживить...

[root@centos-x64-xen named]# mount -t tmpfs none /tmp
[root@centos-x64-xen named]# xm list
Name ID Mem VCPUs State Time(s)
Domain-0 0 1473 4 r----- 139784.4
...

Ура.

И напоследок еще забавный момент.

[root@centos-x64-xen named]# xm list
Name ID Mem VCPUs State Time(s)
Domain-0 0 1473 4 r----- 139802.9
SVN 16 256 1 ---s-- 3203.7
aqua3.wm 22 512 2 ---s-- 140.1
jabber-server 20 256 2 ---s-- 110.2
mail 17 256 1 ---s-- 2244.8
test2-nfs 7 512 1 -b---- 11836.6
zabbix-server 13 256 2 ---s-- 53772.9

В документации что-то было на тему, что -s- юзер никогда не должен увидеть. Ага.