Все со всеми (tinc mesh vpn)

Новый vpn, теперь банановый..

Получается так, что в одной организации происходят постоянные незначительные пертрубации. До того незначительные и до того постоянные, что становятся головной болью из-за их постоянного сопровождения. То директор работает дома, то бухгалтер, иногда компьютер унесут в другой офис, или, что еще круче, захотят развернуть сервер в облаке.

Плюс, огромное желание начальства, чтобы некоторые пользователи не могли физически видеть некоторые серверы, при этом обеспечив возможность видимости двух любых машин из абсолютно разных филиалов.

Решалось все это применением vpn технологий, и работало на openvpn + pptpd + ospfd. В общем мешанина жуткая, требовательная, нагруженная и не поддающаяся профилактике в рабочее время, причем имеющая точку отказа в виде впн-серверов.

В общем поносившись с ними некоторое время, было решено что-нибудь придумать. Этим что-нибудь стал mesh-vpn. Муки выбора были недолгими, однозначно победил tinc (tinc-vpn.org), как самый легкий, кроссплатформенный и бесплатный (тем более, что отрицательных отзывов о нем я не нашел). Из аналогов - hamachi, плюс еще куча сервисов, разных по цене и возможностям.

Попробуем все это упаковать в законченное решение.

Для начала: tinc не смотря на его маленький размер может выступать как клиент, так и сервер, включает в себя сервис маршрутизации и проверки подлинности. Настраивается текстовыми конфигами и всеяден по платформам. Может работать как маршрутизатор, так и в режиме коммутатора.

Далее опишу требования к сети vpn подробно:

• связать рабочие станции и сервера друг с другом, вне зависимости от их физического местонахождения.
• подключаться компьютеры должны при наличии любого соединения с другой машиной (wi-fi, lan, wan, патчкорд)
• обходить хитрые наты и файерволы провайдеров и горе-админов
• работать стабильно и без лишней суеты по администрированию
• обеспечивать безопасность подключения клиентов
• обеспечивать непрерывную работу при наличии нескольких вариантов подключения (два провайдера например), при минимальном вмешательстве администратора

Ну, вот такие требования у нас есть, будем реализовывать.

Для начала что нам нужно настроить:

1. Задать имя сети (в моем примере vpn-white)

2. Задать имя хоста

3. Определиться с портом по которому будет работать tinc

4. Задать адреса, по которым будет доступен каждый узел

Вот тут и кроется засада, а именно в 4 пункте. Ведь бывают и провайдеры с динамическими адресами, да и в локалке dhcp может выдать новый адрес. Значит надо как-то это все автоматизировать и сообщать другим нодам новый адрес. В голову приходили очень странные мысли - irc, jabber, сайт в инете. Но вспомнив, что у меня есть аккаунт в assembla, и svn замечательно подходит для хранения маленьких текстовых файлов, на том и остановился.

Теперь сами настройки (для начала для Linux):

В папке с конфигурацией tinc (/etc/tinc) есть файл - nets.boot он описывает те сети vpn, которые должны автоматически стартовать при запуске службы.

Должна существовать папка, соответствующая имени сети vpn в которой будут лежать ее конфигурационные файлы.

В этой папке лежат четыре файла: tinc.conf содержащий настройки локальной службы vpn, tinc-up скрипт выполняемый при старте vpn сети, и tinc-down выполняемый при завершении, а также файл закрытого ключа шифрования, отвечающий за аутентификацию нод в vpn сети.

И еще одна вложенная папка hosts в которой лежат все настройки узлов, по одному файлу на узел с именем соответствующим имени узла.

Примерная логика работы:

При старте службы vpn получить обновления файлов узлов в сети (вдруг их стало больше, либо у какого-то узла изменился адрес)

Получить список собственных ip адресов и сравнить их с заданными в файле описания узла, если были изменения, внести их в файл и выполнить синхронизацию.

Поднять сетевой интерфейс.

Периодически проверять обновления файлов описания узлов.

С логикой разобрались, начнем конфигурять (простите 1с-ники)

Идем на сайт assembla.com, создаем аккаунт и простейший приватный svn хостинг. Получаем ссылку на него вида : https://subversion.assembla.com/svn/***/ (под звездочками имя вашего пространства. Для опытных пользователей можно использовать как свой svn хостинг, так и любой другой приватный хостинг, например git

Установим необходимые пакеты:

Ubuntu: apt-get install subversion tinc (если вы на убунте, не забудьте везде добавить sudo, в том чисте и к командам ниже)

rhel, centos, scientific: yum install subversion tinc (предварительно подключить репозиторий repoforge)

cd /etc/tinc (для rhel совместимых создать папку tinc)

mkdir -p vpn-white/hosts

cd vpn-white

nano tinc.conf  - прописываем имя локального узла (Name = node01) разрешены только цифры, буквы и подчеркивание (проверено практикой)

копируем скрипт в tinc-up:

#!/bin/bash

basedir="/etc/tinc"

netdir="vpn-white"

cd $basedir

cd $netdir

cd hosts

needcommitsvn=0

versvn=`svn up`

# Проверяем, есть ли файлы не под svn и добиваем их

notsvn=`svn status|grep "?"`

filenotsvn=${notsvn//"? "/}

if  [ $filenotsvn ]

then

svn add $filenotsvn

needcommitsvn=1

fi

#Получим имя нашего компа

hsnametmp=`cat $basedir/$netdir/tinc.conf|grep "Name"`

hsname=${hsnametmp//"Name = "/}

#Пробежимся по всем хостам и добавим отсутствующие в ConnectTo

for i in *

do

 if [ $hsname != $i ]

  then

   if grep $i $basedir/$netdir/tinc.conf &> /dev/null

    then

     echo ""

    else

     echo "ConnectTo = "$i >> $basedir/$netdir/tinc.conf

   fi

 fi

done

# Получаем все ip хоста и заносим куда следует (исключая loop интерфейсы, интерфейс самой сети vpn и машин с гипервизором kvm(есть у меня такие))

ips=$(ifconfig | grep 'inet addr:' | sed 's/:/ /' | awk '{print $3}' | grep -v '127.0.0' | grep -v '10.3.1'| grep -v ‘192.168.122’)

for i in $ips; do

if grep $i $basedir/$netdir/hosts/$hsname &> /dev/null

 then

  echo ""

 else

  sed -i -e "1i Address = $i" $basedir/$netdir/hosts/$hsname

  needcommitsvn=1

 fi

done

#Записываем порт, если забыли

if grep "Port = 666" $basedir/$netdir/hosts/$hsname &> /dev/null

then

 echo ""

else

 sed -i -e "1i Port = 666" $basedir/$netdir/hosts/$hsname

 needcommitsvn=1

fi

#заносим имя сети в автостарт

if grep $netdir $basedir/nets.boot &> /dev/null

then

 echo ""

else

 echo $netdir >> $basedir/nets.boot

fi

# Проверяем, нужно ли коммитить изменения

if [ $needcommitsvn == 1 ]

then

svn ci -m 'need commit'

fi

hsvpnip=$(grep "Subnet" $basedir/$netdir/hosts/$hsname |sed 's/Subnet = //')

ifconfig $INTERFACE $hsvpnip netmask 255.255.255.0

копируем скрипт в tinc-down

#!/bin/sh

ifconfig $INTERFACE down

Обязательно chmod +x tinc-*

Теперь необходимо подключить папку hosts к svn

cd hosts

svn co https://subversion.assembla.com/svn/***/ ./ --username=user (user - ваш логин в ассембле)

Вводим пароль, соглашаемся на хранение пароля, и получаем локальную копию svn.

Запускаем генерацию ключевой пары

tincd -n vpn-white -K

Ждем пока сгенерируется, два раза жмем enter

В результате в папке vpn-white будет лежать закрытый ключ, а в папке hosts будет создан файл описания локального узла, содержащий открытый ключ.

Отредактируем его (nano node01) и добавим Subnet = 10.79.83.1 (где сеть 10.79.83.x - наша впн сеть, и адрес выбран такой, чтобы по возможности не было пересечения с существующими локальными сетями и сетями провайдера)

В данном случае локальный узел будет отзываться по этому ip. Я не использую здесь динамические адреса, поскольку хочу жестко зафиксировать клиентов vpn и в дальнейшем использовать их для iptables серверов.

Обязательное условие, добавить строчку с Subnet в начало файла, перед отпечатком ключа, иначе tinc его не увидит.

Вернемся чуть ниже, сделав первый прогон скрипта

cd ..

./tinc-up

Он обнаружит свой файлик описания узла, добъет в него порт, собственные ip адреса, настроит tinc.conf для подключения к узлам, еще немного полезного... и поднимет интерфейс vpn с именем сети и адресом, указанным в Subnet. А также скинет все наши изменения на assembla.

Точнее, при первом прогоне, он его не сможет поднять интерфейс, так что на эту ошибку не обращайте внимания.

Все, сервис готов к работе

на убунту ставится init-скрипт вместе с пакетом, на rhel он отсутствует, так что добавьте в rc.d строку /usr/bin/tincd -n vpn-white

Запускаем

tincd -n vpn-white -D -d2 (-D не демонизировать, выводить отладку в консоль, -d2 указать уровень отладки)

Если все хорошо он будет висеть в консоли показывая попытки соединения, если они есть, или есть с кем.

На втором компьютере повторяем все шаги изменив только имя узла в tinc.conf и ip в Subnet.

Запустив tinc на втором компьютере, возвращаемся на первый, и видим попытки соединения от второго узла, но пока мы о нем ничего не знаем.

Идем в hosts, делаем там svn update, к нам приходит описание второго узла и машины начинают видеть друг-друга примерно через минуту (может немного больше). Перезапуска демона не требуется.

Теперь ставим в cron задание по обновлению папки hosts через svn update. Слишком часто не надо ставить, иначе assembla обидится, и перестанет нас пускать к себе (вроде как не больше 30 commit в час)

Продолжаем так со всем парком машин и у нас наступает счастье все видят всех, пакеты бегают по кратчайшему маршруту, при пропадании какой-либо машины из сети, пакеты выбирают другой маршрут. И все это не зависит от того, где физически они находятся, и откуда подключаются.

Все просто и замечательно, но как же быть с багами?

1. Самый большой баг - Windows. На XP sp2 не работает, вообще (есть одна такая)

2. На XPsp3, Vista, 7, 8, 2008Server работает как часы (месяц без “разрывов”)

3. На windows и rhel падает по ошибке Segmentation fault. Долго разбирался, но разобрался - оказывается это происходит если более 2/3 узлов отвергли соединение из-за ошибки в проверке ключей. Так что достаточно сделать svn up на нескольких узлах и ошибка пропадает. Бывает только с новыми узлами.

4. На windows server 2008 sp1 пропадает служба. Вроде была, а после ребутf, уже нет. Правится назначенным заданием на запуск системы.

Кстати, по поводу windows. Со скриптами не заморачивался (откровенно - лень), у меня этой системы где-то 4-5%, поэтому сделал все руками. Клиент svn - tortoisesvn, tin с офф.сайта. Устанавливаем адаптер скриптом в папке программы, обзываем его vpn-white, в файле tinc.conf дописываем Interface = vpn-white, так же указываем имя узла.

Черепахой синхронизируем hosts. Скрипты писать не надо, vpn ip забиваем в свойства сетевого адаптера.

Ключ генерируется той же командой. Правим файлик описания локального узла, добивая туда все ip адреса сервера. Commit изменений на ассемблу. Правим tinc.conf указывая те узлы с которыми хотим соединиться в формате ”ConnectTo = node01”. Можно указать всех, можно только важных, как решите.

Запускаем той-же командой. В результате создается служба, которой можно управлять из командной строки, консоли mmc, или .bat. Имя службы в нашем случае - tinc.vpn-white.

P.S. По поводу безопасности. В ассембле лежат только открытые ключи. Для того чтобы скомпрометировать вашу сеть vpn одного закрытого ключа недостаточно, надо похитить как минимум два (т.е. получить доступ к двум машинам одновременно). Что уже достаточно сложно. Правда их адреса тоже лежат в асембле.

P.P.S. По поводу скриптов - чукча не писатель. На самом деле у меня сейчас все немножко по другому, но в том скрипте много конф.информации, да и завязан он на puppet.

Кстати с puppet настройка выполняется еще проще и быстрее.

P.P.P.S. сеть называется vpn-white, так как есть еще одна, в которой только доверенные машинки. Так сказать реализовал vlan “по своему”.