Proxmox VE 2 cluster with DRBD (HA, Fencing)

Возникла небольшая задача по созданию бюджетного отказоустойчивого кластера виртуалок. Мучился до 3х ночи, но решил.
И так, задача:
Есть 2 двухголовых сервера, на них нужно развернуть: файерволл и маршрутизатор на 2-х провайдеров, сервер телефонии Asterisk, комплекс 1С:Предприятие (клиент-сервер) и хранилище документов. Нагрузка по итогу не очень большая, можно было бы развернуть по отдельности поделив нагрузку, но есть второе требование: обеспечение резерва и высокой доступности, при полном отсутствии доп.финансирования
Посидев, подумав, было решено все это виртуализировать и кластеризировать.
Изучив предложения быстро понял, что единственным вариантом сделать все это является гипервизор kvm в дистрибутиве Proxmox VE, благо уже вышла версия 2.1 и основные косяки поправлены.
Поводом же написать сообщения явилось то, что полной пошаговой инструкции для развертывания такого кластера с использованием fencing нет в интернете, абзац в одном месте, кусок кода в другом месте, объяснение почему вообще на немецком.



Итак 2 сервера с 2-мя сетевыми картами. Первые из них втыкаем в свитч, вторые соединяем шнурком. Если используются raid, их нужно сконфигурировать по вкусу. Основная задача создать минимум 2 массива - один для самого proxmox, второй под общее хранилище. Параметры общего хранилища должны быть одинаковы.
Подготовка закончена.
Устанавливаем дистрибутив. Установка стандартна - лицензия, далее, ОК, выбрать часовой пояс, указать пароль root, электронную почту, выбрать диск для установки, забить настройки сетевого интерфейса.
Сеть настраивается только на статику (и это правильно для такой задачи) и только для первого интерфейса. Плюс к этому сетевое имя обязательно с указанием домена (fqdn).
Возьмем для примера:

первый узел - node01.loc

ip - 192.168.0.100

mask - 255.255.255.0

gateway - 192.168.0.1

dns - 192.168.0.1

Аналогично второй узел - node02.loc
ip - 192.168.0.200
mask - 255.255.255.0
gateway - 192.168.0.1
dns - 192.168.0.1

Все, на этом установка системы заканчивается, начинается работа.

Перво-наперво синхронизировать время. Если есть в сети сервер точного времени (контроллер домена например) указываем его и синхронизируемся. Если его нет, то вся надежда на pool.ntp.org
На обоих узлах:
echo "server ntp.company.lan" >> /etc/ntp.conf
/etc/init.d/ntp restart
ntpdc -p


# Правим /etc/hosts


для node01 добавляем строчку:
10.10.10.2 node02 node02.loc
для node02
10.10.10.1 node01 node01.loc


# Обновляемся
aptitude update && aptitude full-upgrade


Далее настраиваем сеть на вторых интерфейсах серверов. Это можно сделать как из терминала, так и из веб-интерфейса proxmox ( https://192.168.0.100:8006 для node01 и https://192.168.0.200:8006 для node02 соответственно). Заходим с логином root  и паролем, указанным при установке, слева выбираем имя ноды, в главном окне вкладку Network, выделяем интерфейс eth1, Edit. Указываем адрес 10.10.10.1, маску 255.255.255.252, ставим галку на Autostart. Для второго узла повторяем процесс с ip 10.10.10.2

Перезагружаемся. Логинимся. Проверяем, что узлы видят друг друга
# на первом узле
ping node02
# на втором
ping node01

Если возникли проблемы, проверяем настройки сети, меняем патчкорд и т.д.

Создаем кластер
На узле node01:
pvecm create cluster01 #cluster01 - имя кластера, поменять потом невозможно!
pvecm status # проверяем, что все хорошо
На узле node02:
pvecm add 10.10.10.1 # добавляем node2 в наш кластер

Кластер создан.

Беремся за drbd (к примеру наше хранилище будет располагаться на /dev/sdb:
На обоих узлах:
fdisk /dev/sdb
n -> p -> 1 -> enter -> enter
t -> 8e
w

Раздел мы создали.
Можно ставить drbd8-utils, но не тут то было. Версия drbd в ядре 8.3.10, а в репозитории drbd8-utils версии 8.2.7, что очень не хорошо. Будем компелять, благо это недолго:
cd ~
apt-get install git-core git-buildpackage fakeroot debconf-utils docbook-xml docbook-xsl dpatch xsltproc autoconf flex
mkdir drbd
cd drbd
git clone http://git.drbd.org/drbd-8.3.git
cd drbd-8.3
git checkout drbd-8.3.10
dpkg-buildpackage -rfakeroot -b -uc
cd ..
dpkg -i drbd8-utils_8.3.10-0_amd64.deb

На один установили. Можно повторить на втором, или перетащить полученный пакет и просто его установить. Решать Вам.
Разбираемся с конфигами drbd:
На обоих:
nano /etc/drbd.d/global_common.conf
Все удаляем и пишем:
global { usage-count no; }
common { syncer { rate 30M; } }


nano /etc/drbd.d/r0.res
resource r0 {
     protocol C;
     startup {
             wfc-timeout 0; # non-zero might be dangerous
             degr-wfc-timeout 60;
             become-primary-on both;
     }
     net {
             cram-hmac-alg sha1;
             shared-secret "oogh2ouch0aitahNBLABLABLA";
             allow-two-primaries;
             after-sb-0pri discard-zero-changes;
             after-sb-1pri discard-secondary;
             after-sb-2pri disconnect;
     }
     on node01 {
             device /dev/drbd0;
             disk /dev/sdb1;
             address 10.10.10.1:7788;
             meta-disk internal;
     }
     on node02 {
             device /dev/drbd0;
             disk /dev/sdb1;
             address 10.10.10.2:7788;
             meta-disk internal;
     }
}

Стартуем на обоих узлах drbd
/etc/init.d/drbd start
drbdadm create-md r0
drbdadm up r0

!!! Только на одном узле (node01):  !!!
drbdadm -- --overwrite-data-of-peer primary r0

watch cat /proc/drbd #наблюдаем пока синхронизируются узлы до Primary/Primary UpToDate/UpToDate

На обоих узлах:
nano /etc/lvm/lvm.conf
# Меняем строчку filter = [ "a/.*/" ] на
filter = [ "r|^/dev/sdb1|", "a|^/dev/sd|", "a|^/dev/drbd|" ,"r/.*/" ]

!!! Только на одном узле (node01):  !!!
pvcreate /dev/drbd0
pvscan # in order to check
vgcreate drbdvg /dev/drbd0 # имя drbdvg можете поставить свое

Далее идем в интерфейс proxmox
Data Center > Storage > Add > LVM group
ID: drbd
Volume group: drbdvg
Shared: yes

ID выбираете сами, поменять невозможно.

Уже можно создавать виртуальные машинки (обязательно в закладке hdd укажите storage: drbdvg).

Можно запускать и наслаждаться миграцией.

Если Вам этого достаточно, дальше можно не читать.
Но мне необходим был HA, поэтому мучения продолжаются.

Создаем конфиг кластера (node01):
cp /etc/pve/cluster.conf /etc/pve/cluster.conf.new

я привел его к такому виду:

cat /etc/pve/cluster.conf
<?xml version="1.0"?>
<cluster config_version="10" name="cluster">
  <cman expected_votes="1" keyfile="/var/lib/pve-cluster/corosync.authkey" two_node="1"/>
  <fencedevices>
    <fencedevice agent="fence_manual" name="human"/>
  </fencedevices>
  <clusternodes>
    <clusternode name="node01" nodeid="1" votes="1">
      <fence>
        <method name="single">
          <device name="human" nodename="node01"/>
        </method>
      </fence>
    </clusternode>
    <clusternode name="node02" nodeid="2" votes="1">
      <fence>
        <method name="single">
          <device name="human" nodename="node02"/>
        </method>
      </fence>
    </clusternode>
  </clusternodes>
</cluster>


# config_version="10" обязательно увеличиваем каждый раз, когда меняем содержимое

Что мы здесь видим:
Устройство fence - ручной переключатель (возможны другие варианты, от упса до коммутатора).
Fence - в общем это такой механизм, который гарантированно вырубит отвалившийся узел, чтобы не допустить возможности их параллельной работы (что в случае drbd однозначно приведет к поломке синхронизации дисков и ручного разгребания каши на них).
В этом примере гарантом изоляции является человек, что тоже не очень, но оставим это на будущее.

Идем в интерфейс и применяем настройки кластера: Datacenter -> HA -> Activate

Правим, удалив комментарий в последней строчке на обоих узлах:
nano /etc/default/redhat-cluster-pve
выполним на обоих узлах:
fence_tool join
Наш домен fence готов.

Если есть вирт.машинка подключаем ее к HA кнопкой add (указываем id машинки). Если нет, создаем и подключаем.
Почти все. Идем в сервер(node01) -> Services запускаем службу RGManager. Должна запуститься наша машинка. Повторяем запуск RGManager на node02.
Все. Можем гасить node01 машинка переберется на node02.

!!! Обязательно !!!
Если у вас к vm подключен инсталяционный cd, или подключена консоль, отключитесь, иначе кина не будет.

P.S.
Для ручного fencin-га:
Запускаем vn на node01
Гасим node01
Идем на node02
Говорим, что 100% уверены, что узел 1 не работает: fence_ack_manual node01
Говорим, что на 1000500% уверены введя "absolutely"
машинка заведется на node02

Материал собрал из:
http://www.helplinux.ru/wiki/en:kb:proxmox-drbd-cluster
http://pve.proxmox.com/wiki/Two-Node_High_Availability_Cluster
http://forum.proxmox.com/threads/7059-Update-DRBD-userland-to-8.3.10-to-match-kernel-in-1.9?p=40033#poststop
http://forum.proxmox.com/threads/8623-Proxmox-2-node-cluster-fencing-device
http://pve.proxmox.com/wiki/Fencing#Enable_fencing_on_all_nodes