| Интересы |
[url=https://r2.wiki/]101[/url] (альбом) - название официального «концертного» фильма, выпущенного группой depeche mode в 1989 году.
|
Направление деятельности |
Virtual environment (ve) (виртуальня среда) proxmox является многоузловым кластерным гипервизором с свободным первичным кодом, построенным на debian linux и способным вкладываться в общедоступных аппаратных средствах, этим устраняя любые блокировки вендора. Proxmox свободно доступен в отсутствие каких бы то ни было блокированных особенностей. Proxmox это мультиузловая культура и такой нюанс значит, что масса узлы могут образовывать единый кластер где виртуальная выбранная машина может пребывать перемещена на все узел в кластере, соответственно делая возможной избыточную виртуальную среду. Весь proxmox кластер может управляться через надежный графический интерфейс пользователя (gui). Предварительная настройка серверов Перед установкой proxmox на площадку supermicro, нужно настроить bios, ipmi и дату/время 1. Установить время и место в биос на текущую. Зависимо от временной зоны и вас интересует работать кластер. На любой ноде! 2 режим sata выставить - achi 3 автоматическое включение после сбоя питания - power on 4 настроить статический адрес ipmi - bmc - ipmi (ip, маску подсети, шлюз если имеется) 5 отключить первоначальную загрузку по lan Жесткие диски должны быть «очищены» перед монтажными работами proxmox! Для выполнения работ, с программным raid1 обязательно использование дисков hgst (было протестировано на них). На cd toshiba программный raid1 осуществить не срослось. После настройки bios (режим sata - achi) монтируем образ proxmox-ve_4.4-eb2d6f1e-2 с «внешнего жесткого диска, и загружаемся с этого (без uefi), либо посредством ipmi supermicro ipmiview20 смонтировать образ proxmox-ve_4.4-eb2d6f1e-2 (для получения услуги надо знать айпи ipmi и оставаться в одной подсети с этим развитием. Будет описано ниже). Для взаимодействия с серверами по ipmi, следует пользоваться утилитой от supermicro ipmiview20. Она упростить и убыстрить действия по ipmi (внимание: работает лишь на виндоуз и требуется установленная программа java (jre-8u111-windows-x64) Работа с образами в ipmi supermicro utilities Ipmiview20 - отличная утилита для выполнения работ, с серверами по ipmi на материнских платах supermicro. Утилита помогает делать розыск по заданному пул ресурсов, добавлением пакета в колонку доступных, А сразу же простоту в сотрудничестве с считанными окнами (серверами) одновременно. Так же возможно менять ipmi адрес не посещая bios, просматривать температуру окружающего воздух и сост. Cервера. Важной особенностью стоит отменить возможность монтирования образов прямо с компьютера или ноутбука, тут происходит настройка. Хватит предпочесть сервер по ipmi с котором требуется двигать. Зайти в закладку ipmi concole и подключиться. В развернувшемся рабочей области нажать закладку virtual storage и отыскать iso файл, затем – нажать plug in и включить dedic на перезагрузку в своем окне - power control - power reset. После обработки iso образом его нужно размонтировать - здесь же кнопкой plug out, иначе сервер будет стараться загрузиться прежде всего с образа. Установка proxmox на голом узле (на любую нод) с помощью raid1 Процесс установки proxmox полностью управляется графическим интерфейсом с использованием надувных подсказок. В нем мы последуем следующими шагами в формировании нашего первого узла proxmox. Включите еду и загрузите физический узел, используя установочный диск или usb-носитель. На другой скриншот предрекает, равно как выглядит экран при помощи: 1. Install proxmox ve 2. В экране end user license agreement (eula) кликните согласие:i agree. 3. Нажимаем options и меняем на файловую систему zfs-raid1) - next (не подходит для дисков toshiba) 4. Russia - europe/moscow - u.S.English 5. Введите и подтвердите логин для вас root. Затем введите адрес е-mail, где отсылать все уведомления кластера proxmox. Вводим логин для root:000000 повторяем, mail любой -next 6. На конкретном шаге вам надо ввести имя хоста и сетевую информацию, такую как ip address, gateway, dns server. Введите нужную сведения для персональной среды, а в окончании нажмите next Hostname: dir_номер сервера.Integra-s.Com (доменное адрес обязательно) Сеть указываем свою, важно ip обязан быть с прямым доступом в сеть, пусть и на отрезок времени обновления. Если имеются локальные репозитории адрес разрешено указать статический сразу. В данном ситуации, в офисе интегра-с) настройки сети следующие: 192.168.10.66 (ip с инетом) 255.255.254.0 (маска) 192.168.10.9 (шлюз) 192.168.10.2 (dns) Next 7. Дождаться завершения установки На текущий момент была имеется вся нужная сведения и стартовала основная установка.После ее изготовления удалите установочный диск или носитель usb и нажмите на reboot. Следуйте шагам с первого по 7 на следующем и третьем узле. (Для proxmox кластера минимально требуются два узла.) Внимание Если необходимо модернизировать айпи делать лишь через web-интерфейс, имя сервера (node) нельзя менять через nano /etc/hosts. Обновление proxmox и инстал компонентов (в интернете) 1.Нужно – изменить платный репозиторий proxmox, требующий подписки, на бесплатный, логинимся от root и вбиваем строку: #Nano /etc/apt/sources.List.D/pve-enterprise.List Комментируем строку и вбиваем новую строку ниже: Deb http://download.Proxmox.Com/debian jessie pve-no-subscription (Используют копирование строки ctrl+k (копировать) ctrl+u (вставить) 2. Далее обновляем proxmox: #Apt update && apt dist-upgrade Соглашаемся y 3. Вбиваем и устанавливаем по очереди: Если требуется сменить имя сервера или ip адрес необходимо менять в трех местах, командами: Nano /etc/hostname - не желательно, возможны ошибки после Nano /etc/hosts Обновление proxmox через локальный репозиторий 1. Воспользоваться программой winscp на ос windows машине подключенной к тоже подсети кластера. Логинимся от root в winscp, копируем папку repo (предполагается, что она у вас есть) в папку media, должно получиться так /media/repo Можно закинуть с носителя usb. Для этого примонтировать устройство с репами и скопировать их по пути /media/repo 2. Подкинуть файл localerepo.List в /etc/apt/sources.List.D/ Закомментировать всё в nano /etc/apt/sources.List Закомментировать всё в nano /etc/apt/sources.List.D/pve-enterprise.List 3. Находясь в папке с ключами (cd /media/repo) , добавить их командами #Apt-key add release.Asc #Apt-key add autobuild.Asc [Ok] - сообщение о верном добавлении ключа 4. Команда на обновление 1. Apt update && apt dist-upgradeсоглашаемся y “Q to quit” нажимаем q 5. Cтавим пакеты #Apt install htop mc attr glusterfs-server pv ntp 6. После установки подкинуть файл pveceph.Pm в /usr/share/perl5/pve/cli/ 7. Установить ceph #Pveceph install -version jewel Проделываем пункты с 1 по 5 на каждой ноде Веб-интерфейс, смена ip, редактирование hosts и добавление нодов С другого компьютера в общей локальной сети (или ноутбука) заходим через браузер на веб-интерфейс proxmox: В нашем случае https://192.168.10.66:8006 Выбираем сначала язык russia затем root и пароль 000000 Если требуется поменять ip адрес Выбираем сервер в левом столбце, затем system - сеть и в строке wmbr0 по двойному клику меняем в открывшемся окне ip адрес, маску и шлюз - ок. Так же меняем dns сервер если требуется Нажимаем на кнопку «перезапуск» в верхнем правом углу веб-интерфейса (в некоторых случаях необходимо перезагружать дважды) Ждем какое то время, пробуем зайти по новому адресу https://х.Х.Х.Х:8006 Х.Х.Х.Х - ваш новый ip адрес, порт всегда 8006 Так же нужно поменять ip адрес в строке файла hosts, для корректного отображения ip в шапке консоли Это можно сделать через веб-интерфейс нажав «консоль» Логинимся от root и вбиваем команду: #Nano /etc/hosts Меняет ip, перезагружаемся. Hosts Обязательно прописываем на каждой ноде (сервере) ip и hostname ноды будущего кластера Нажимаем ctrl+x затем y и enter Повторяем у всех нодов (серверов), pvelocalhost в конце строки остается на каждом из нодов в соответствии с тем, на котором настраиваем (см. Скриншот). Обратить внимание на ip адрес и имя сервера, у вас они будут другие. Включая четвертый dir4 - zip сервер если такой имеется Объединение в кластер Создаем кластер и прописываем на главном ноде (допустим на dir1): #Pvecm create (например dircluster) На второстепенных нодах пишем #Pvecm add dir1 (dir1 это имя нашего главного нод) Yes, пароль от root главной нод Проверяем, что все нормально и смотрим список нод в кластере #Pvecm status Перезагружаем все ноды и заходим в веб-интерфейс главного нода (в нашем случае https://192.168.11.211:8006) Должны увидеть все добавленные ноды (серверы) в «датацентр» - «сводка» online 3 Cehp (вводная часть) Ceph является распределенной системой хранения, которая предоставляет блочные устройства хранения объектов rados (rbd, rados block device) безотказное автоном-ное распределенное хранилище объектов, reliable autonomic distributed object store, файловую систему ceph и хранилище объектов ceph. Ceph построена с учетом потребностей в очень высоких уровнях надежности, масштабируемости и производительности.Кластер ceph может быть расширен до масштабов данных в несколько петабайт без ущерба для целостности данных и может быть настроен с применением общедоступного оборудования. Все записываемые в хранилище данные получают репликации по всему кластеру ceph. Ceph с самого начала разрабатывался исходя из потребностей больших данных. В отличие от других типов хранилищ, чем больше становится кластер ceph, тем выше его производительность. Тем не менее, он также может быть использован для резервирования данных с такой же легкостью в небольших средах. Низкая производительность может быть смягчена с применением ssd для хранения журналов ceph. Встроенные средства самовосстановления ceph обеспечивают беспрецедентную устойчивость при отсутствии единой точки отказа. В кластере ceph со многими узлами хранилище может переносить не только отказ жесткого диска, но и выход из строя всего узла без потери данных. Ceph включает ряд компонентов имеющих решающее значение для вашего понимания того, как настраивать и эксплуатировать хранилище. Следующие компоненты это то, и чего состоит ceph: Демон монитора (mon) Демон хранения объектов (osd) Журнал osd Сервер метаданных (msd) Карта управляемых масштабируемым хешированием репликаций (crush map, controlled replication under scalable hashing map) Группы размещения (pg, placement group) Пулы (pool) Mon Демоны монитора формируют кворум распределенного кластера ceph. Должно присутствовать как минимум три настроенных демона монитора на различных узлах для каждого кластера. Демоны монитора также могут быть настроены как виртуальные машины вместо применения физических узлов. Мониторы требуют очень мало ресурсов для функционирования, следовательно выделяемые ресурсы могут быть очень незначительными. Монитор может быть установлен через графический интерфейс proxmox после начального создания кластера. Osd Демоны хранения объектов osd, object storage daemons отвечают за хранение и извлечение действительных данных кластера. Обычно одно физическое устройство подобное жесткому диску, или твердотельному диску настраивается как отдельный osd. Хотя несколько различных osd может быть настроено на одном физическом диске, это не рекомендуется делать совсем ни для каких промышленных применений. Каждый osd требует устройство журнала, где вначале записываются данные, которые позже переносятся на реальный osd. Сохраняя данные в журналах на высокопроизводительных ssd мы можем значительно увеличивать производительность ввода/ вывода ceph. Благодаря архитектуре ceph, чем больше и больше osd добавляется в кластер, тем больше возрастает производительность ввода/ вывода. Журнал osd работает очень хорошо на малых кластерах при примерно восьми osd на узел. Osd могут быть установлены с помощью графического интерфейса proxmox после начального создания mon. Osd journal Каждый фрагмент данных предназначенный для osd ceph вначале записывается в журнал. Журнал позволяет демонам osd записывать меньшие фрагменты, позволяя реальным дискам фиксировать запись, которая требует больше времени. Проще говоря, все данные будут записаны в журналы, а затем журнальная файловая система отправляет данные на фактический диск для постоянной записи. Так, если журнал хранится на диске с высокой производительностью, например ssd, входящие данные будут записаны с гораздо более высокой скоростью, в то время как за сценой более медленные диски sata могут фиксировать запись с более медленной скоростью. Журналы на ssd могут на самом деле улучшать производительность кластера ceph, особенно, если кластер небольшой, всего с несколькими терабайтами данных. Замечание: Следует также отметить, что если происходит отказ журнала, это приведёт к выходу из строя всех osd, которые обслуживает данное устройство журнала. В некоторых средах может быть необходимо помещать два устройства ssd для зеркального raid и уже его применять для журнала в больших средах с более чем 12 osd на узел производительность может быть на самом деле получена путём размещения журнала на том же диске osd вместо применения ssd для ведения журнала. Mds Демон сервера метаданных mds, metadata server отвечает за предоставление файловой системы ceph (cephfs) в распределенной системе хранения ceph. Mds может настраиваться на отдельных узлах или сосуществовать с уже существующими узлами монитора или виртуальными машинами. Хотя cephfs прошла долгий путь, она по прежнему не в полной мере рекомендуется к применению в промышленной среде. Стоит упомянуть, что многие виртуальные среды активно работают с mds без каких- либо проблем. В настоящее время не рекомендуется настраивать более двух mds в одном кластере ceph. В настоящее время cephfs не поддерживается подключаемым модулем хранения proxmox. Однако она может быть настроена как монтируемая локально с последующим соединением через хранилище directory.Mds не может быть установлен через графический интерфейс proxmox, по крайней мере, в версии 3.4. Crush map Карта управляемых масштабируемым хешированием репликаций (crush map) является сердцем распределенной системы хранения ceph. Алгоритм для сохранения и извлечения пользовательских данных в кластерах ceph планируется в карте crush. Crush делает возможным прямой доступ клиента к osd. Это устраняет единую точку отказа и любые физические ограничения масштабирования, поскольку не существует централизованных серверов или контроллеров для управления операциями чтения и записи хранимых данных. Во всех кластерах ceph crush поддерживает карту всех mon и osd. Crush определяет как данные должны быть разбиты и реплицированы среди osd распределяя их среди локальных узлов или даже среди удаленно расположенных узлов. Карта crush по умолчанию создается на только что установленный кластер ceph. Она может дополнительно настраиваться дальше на основе потребностей пользователей. Для небольших кластеров ceph эта карта должна работать просто прекрасно. Однако, когда ceph развертывается для очень больших данных, эту карту необходимо настраивать дополнительно. Настроенная карта позволит лучше управлять массивными кластерами ceph. Для успешной работы с кластерами ceph любых размеров обязательно ясное понимание карты crush. Pg В хранилище ceph объекты данных собираются в группы определяемые с помощью алгоритмов crush. Они называются группами размещения (pg, placement group), поскольку crush помещает эти группы в различные osd в зависимости от установленного в карте crush уровня репликации и количества osd и узлов. Отслеживая группы объектов вместо самих объектов можно сохранять огромное количество аппаратных ресурсов. Было бы невозможно отслеживать миллионы отдельных объектов в кластере. Следующая диаграмма показывает как объекты объединяются в группы и, как pg связаны к osd: Для балансировки доступных аппаратных ресурсов необходимо назначать правильное число групп размещения. Число групп размещения должно меняться в зависимости от число osd в кластере. Следующая таблица предлагаемых групп размещений выполнена разработчиками ceph: Выбор соответствующего числа групп размещения является критичным, поскольку каждая группа размещения будет потреблять ресурсы узла. Слишком многогрупп размещения для неверного число osd в действительности приведет к избыточному использованию ресурсов узла osd, в то время как очень маленькое число назначенных групп размещения в большом кластере поставит данные в состояние риска. Эмпирическое правило заключается вначале с наименьшим возможным числом групп размещения с последующим их увеличением по мере роста числа osd. Pools Пулы ceph аналогичны разделам жесткого диска. Мы можем создать множество пулов в кластере ceph для разделения хранимых данных. Например, пул с названием accounting может хранить данные всего подразделения бухгалтерского учета, а другой пул может хранить данные о персонале компании. При создании пула необходимо назначение числа групп размещения. При начальной настройке ceph создаются три пула по умолчанию. Это data, metadata и rbd. Удаление пула навсегда удалит все хранимые объекты. Следующий рисунок демонстрирует основы кластера proxmox+ceph Предыдущий рисунок показывает узлы proxmox, три узла монитора, три узла osd и два узла mds составляющие кластер proxmox+ceph. Заметим, что ceph располагается в сети, которая отличается от общедоступной сети. В зависимости от установки числа репликаций все приходящие данные объектов должны записываться более одного раза. Это вызывает высокую потребность в пропускной способности. Прим. Пер.: Еще большую нагрузку создают автоматическая балансировка, сохраняющая примерно равным процент заполнения всех osd в кластере ceph, и восстановление копий в случае выхода из строя некоего оборудования. Выделяя ceph в отдельную сетевую среду мы будем уверены, что сеть ceph может полностью использовать всю полосу пропускания. В более продвинутых кластерах третья сеть создается исключительно между узлами ceph для репликаций кластера, тем самым еще больше улучшая производительность. В proxmox ve 3.4. Один и тот же узел может использоваться и для proxmox, и для ceph. Это предоставляет больший способ управляемости всеми узлами из одного графического интерфейса proxmox. Не рекомендуется размещать виртуальные машины proxmox на узле который также настроен как ceph. Во время повседневных операций узлы ceph не потребляют больших объемов ресурсов подобных процессорам или памяти. Однако, когда ceph переходит в режим балансировки вследствие отказа узла osd возникают большие объемы реплицируемых данных, что требует больших объемов ресурсов. Если ресурсы совместно используются виртуальными машинами и ceph, производительность значительно ухудшится. Настройка основного хранилища Вы можете настроить хранилище в кластере proxmox как с применением gui, так и с помощью cli. Настройка хранилища сохраняется в файле /Etc/pve/storage.Cfg. Вы можете изменить этот файл непосредственно чтобы добавить хранилища через графический интерфейс proxmox, а настройки сохранятся автоматически. Следующий снимок экрана является файлом настроек хранилищ в том виде, как он возникает после чистой установки proxmox: Настройка хранилищ обычно имеет следующий многострочный формат: : Content types Maxfiles На основании данной настройки существует локальное хранилище подключенное к кластеру proxmox, причем все файлы будут сохраняться в каталоге /var/lib/vz. Данное хранилище может хранить типы содержания, включающие образы дисков, iso, шаблоны контейнеров и файлы резервных копий. Хранилище будет хранить максимум три последних файла резервных копии. Следующий снимок экрана показывает хранилище из графического интерфейса proxmox: Изменение настройки хранилища не требует перезагрузки и вступает в действие немедленно. Ceph (настройка) Для внутренней сети без резервирования Добавляем внутреннюю сеть в веб-интерфейсе proxmox для каждого из нодов (eth1) System - сеть Перезагружаем каждую нод (сервер) два раза, должно быть yes в столбце «активно» Для внутренней сети с использованием 10 гб/с и резервированием (linux bond) Вводная часть Для обеспечения отказоустойчивости и повышения пропускной способности сетевых интерфейсов сервера используется агрегация линков, так называемый bonding. Эта технология позволяет объединить два или более физических сетевых интерфейсов в один виртуальный. Типы агрегации (объединения) интерфейсов в linux Mode=0 (balance-rr) Этот режим используется по-умолчанию, если в настройках не указано другое. Balance-rr обеспечивает балансировку нагрузки и отказоустойчивость. В данном режиме пакеты отправляются "по кругу" от первого интерфейса к последнему и сначала. Если выходит из строя один из интерфейсов, пакеты отправляются на остальные оставшиеся.При подключении портов к разным коммутаторам, требует их настройки. Mode=1 (active-backup) При active-backup один интерфейс работает в активном режиме, остальные в ожидающем. Если активный падает, управление передается одному из ожидающих. Не требует поддержки данной функциональности от коммутатора. Mode=2 (balance-xor) Передача пакетов распределяется между объединенными интерфейсами по формуле ((mac-адрес источника) xor (mac-адрес получателя)) % число интерфейсов. Один и тот же интерфейс работает с определённым получателем. Режим даёт балансировку нагрузки и отказоустойчивость. Mode=3 (broadcast) Происходит передача во все объединенные интерфейсы, обеспечивая отказоустойчивость. Mode=4 (802.3ad) Это динамическое объединение портов. В данном режиме можно получить значительное увеличение пропускной способности как входящего так и исходящего трафика, используя все объединенные интерфейсы. Требует поддержки режима от коммутатора, а так же (иногда) дополнительную настройку коммутатора. Mode=5 (balance-tlb) Адаптивная балансировка нагрузки. При balance-tlb входящий трафик получается только активным интерфейсом, исходящий - распределяется в зависимости от текущей загрузки каждого интерфейса. Обеспечивается отказоустойчивость и распределение нагрузки исходящего трафика. Не требует специальной поддержки коммутатора. Mode=6 (balance-alb) Адаптивная балансировка нагрузки (более совершенная). Обеспечивает балансировку нагрузки как исходящего (tlb, transmit load balancing), так и входящего трафика (для ipv4 через arp). Не требует специальной поддержки коммутатором, но требует возможности изменять mac-адрес устройства. Настройка linux bond 1. Добавить через веб морду Datacenter-> node->system->network Create linux bond Обратите внимание eth1 eth2 в вашем случаем могут быть другими Все заполняем и делаем restart через веб морду 2. Добавляем в nano /etc/network/interfaces.New Bond_primary eth2 В конец файла 3. Должно выглядеть так, (eth's могут не совпадать) Сохраняем, перезагружаемся. Проверяем командой Nano /etc/network/interfaces Сохранилась ли строка bond_primary eth2 в конце На 10 гб/с сетевых картах в крыму eth2 расположен дальше всех, последним сетевым входом, предпоследним является eth3. Будьте внимательны! Проверить активность портов можно командой #Cat /proc/net/bonding/bond0 Mii status должно быть up Если down то пишем команду #Ifup eth2 (Или же eth3, смотря в какой интерфейс подключен кабель) Общее для всех внутренних сетей На главной ноде (dir1) пишем команду: #Pveceph init --network 10.17.0.0/24 (Нужно помнить что 10.17.0.0/24 это для адресов 10.17.Х.Х с маской 255.255.255.0, в вашем случае может быть иначе) Создание мониторов делаем через консоль, для каждого нода командой: #Pveceph createmon Должны получить следующее: Далее подготавливаем hdd для osd, для этого их необходимо перевести в gpt в консоле пишем команду: Тоже самое проделываем для sdd, и так на каждой ноде После подготовки к созданию osd, переходим в веб-интерфейсе в строку ceph - osd и нажимаем создать osd Выбираем sdc и в строке журналирования так же sdc Для sdd так же журналирование на sdd И так на каждой из нод. В итоге получаем 6 шт osd Далее удаляем «пул» и создаем новый с такими параметрами: Далее создаем rbd Датацентр - хранилище - добавить - rbd Мониторы отделяем запятой без пробела Затем на любой из нод через консоль делаем следующее: Где iperbd - это имя нашего rbd. Создание glusterfs Glusterfs - это распределённая, параллельная, линейно масштабируемая файловая система с возможностью защиты от сбоев. С помощью infiniband rdma или tcp/ip glusterfs может объединить хранилища данных, находящиеся на разных серверах, в одну параллельную сетевую файловую систему. Glusterfs работает в пользовательском пространстве при помощи технологии fuse, поэтому не требует поддержки со стороны ядра операционной системы и работает поверх существующих файловых систем (ext3, ext4, xfs, reiserfs и т. П.). Проверить на главной ноде gluster всех трех нод, командой: На всех трех нодах проделываем следующие команды: На всех нодах создаем папку wbackup командой: Далее на главной ноде пишем: Стартуем службу Проверяем на каждой ноде командой Затем в веб-интерфейсе датацентр - хранилище - добавить - glusterfs Строки volume name и узлы брать из выпадающего списка, не вбивая самостоятельно! Если требуется удалить volume Настройка резервирования 1. Настраиваем glusterfs Datacenter → [wbackup/glusterfs] → оставить только content [vzdump backup file] → [ok] Датацентр - хранилище - wbackup - оставить только образ диска [vzdump backup file] - [ok] Datacenter → backup → [add] → изменить на настроить → [create] Или в русскоязычном интерфейсе Датацентр - резервирование - добавить - изменить на настроить расписание - [create] Создание vm Перед созданием vm нужно закачать iso образы (debian 8.5/8.6) на локальные диски ноды, чтобы потом можно было установить os на виртуальную машину Выбираем необходимый iso образ, в нашем случае debian-8.6.0-amd64-dvd-1 и нажимаем загрузить. Дождаться завершения закачки iso образа на ноду по сети. Таких образов можно хранить любое количество, зависит от потребности и свободного места на локальных osd. Затем переходим к созданию vm - на веб-интерфейс proxmox выбираем «создать vm» в верхнем правом углу, в следующем окне: Где узел это - имя ноды, vm id - это идентификатор виртуальной машины, имя - название виртуальной машины. У вас будет всё свое. Нажимаем далее В следующем окне выбираем тип ос (в нашем случае для debiana 8.6 - ядро linux 4.X/3.X/2.6 kernel Указываем закаченный нами образ, с которого будет устанавливаться ос Выбираем sata, и указываем размер диска для виртуальной машины, cache обязательно write back Выбираем необходимое количество sockets и cores (ядер) процессора Выбираем авто определение озу и указываем по необходимости размер (минимум и максимум) Нажимаем «далее» Сеть оставляем без изменений Нажимаем «далее» и в последней закладке нажимаем «завершить» Новая vm появится именно на той ноде, которая была указана при создании vm. На каждой ноде может быть несколько vm, все зависит от поставленных задач и мощности серверов (нодов) состоящих в кластере. По умолчанию vm не запущена и не установлена в автозапуск вместе с proxmox. Запустить можно кнопкой «запуск» в верхнем правом углу веб-интерфейса, а загружать автоматически можно изменив параметр «запуск при загрузке»: После установки ос на виртуальную машину, iso образ обязательно нужно размонтировать, иначе система будет загружаться с образа. Должно быть так Если после подключения к vm по двойному клику мыши виден только черный экран - нажмите enter при активном окне vm. Экспорт/импорт vm 1.Экпортируем с кластера-донора (node) открываем консоль Где vm-106-disk-1 - id vm Затем запаковываем, переходим в папку где лежит файл raw и пишем Где test - имя архива Vm-106-disk-1 - это имя архивируемого образа При упаковке и распаковке нельзя закрывать окно Копируем через winscp к себе запакованный образ 2. Импортируем на кластер-акцептор Копируем и распаковываем образ vm командой Заходим в директорию с образом и пишем Либо Заходим в директорию с конфигурационными файлами вм'ов на клаcтере-доноре через winscp И копируем себе файл ххх.Conf, а затем подкидываем его на кластера-акцептор по пути Машина появиться на веб-интерфейсе кластера-акцептора 3. Смотрим результат 4. Если требуется удалить vm (Удаление лишних feature) rbd feature disable vm-106-disk-1 Обязательно сменить сет. Настройки и имена у vm, иначе будет конфликт ip адресов! Ha для мигрирования vm (создание групп) Для начала необходимо создать группу нодов участвующих в миграции своих vm Далее указываем id (имя) и выбираем серверы в группу (галочкой) Затем переход на закладку ha и нажимаем «добавить» В открывшимся окне заполняем id vm которая хотите чтобы мигрировала и указываем число перезапуска (1 по умолчанию), можно вписать комментарий Проделать со всем id нодами, которые необходимы для миграции При миграции vm с одной нод на другую в ручную в режиме «онлайн» могут помешать подключенные устройства usb и прочие. Отключите их и попробуйте заного. Например ручное мигрирование vm не доступно для vm на которой установлен видео-сервер, потому что usb-ключ защиты не позволяет произвести миграцию. Т.К. Ключи защиты установлены на всех четерых нод (включая zip нод), а рег-файлы всех четырех ключей находятся в папке с установленной video-server 7.0 - при автоматической миграции (если нода выходит из строя) проблем с лицензированием не произойдет. Каждый ключ цепляет свой рег-файл. Если автоматическое мигрирование vm произошло неудачно (красный крестик на id vm) попробуйте удалить/изменить ресурсы или группы ha, а затем произвести миграция в ручную на ту ноду, на которой эта vm работала корректно. Moxa (настройка) Использование скрипта для добавления новых database, mss, ff На vm-ках 2. Сменить всем вм машинам ip в hosts 3. Запустить скрипты по созданию database, ff, mss на соответствующих вм (На pgvm поправить конфиг файл) №1 base 1. Ls - что лежит в текущей папкевидим postgresql Переходим в #cd postgresql #Ls - видим скрипт Делаем исполняемым, если не было проделано #./Createnewdb.Sh 1. Server host: 10.17.9.101 (сервер с базами данных) 2. Server port: 5432 3. User name: postgres 4. User password: acuario 5. Database name: (pn1-pn16) (без пробелов и спецсимволов) 6. Database template: template_postgis (оставляем как есть) Идет создание базы, ничего не трогаем до завершения №2 ff #Ls - что лежит в текущей папке, видим firefly #Cd firefly #Ls - аналогично Делаем исполняемым - аналогично, scriptffcreate.Sh Запускаем #./Scriptffcreate.Sh Запустился скрипт-диалог 1. Firefly name: firefly (по умолчанию) меняем на fireflypn1-pn16 2. Firefly path: /opt 3. Firefly wamp port: 8090 (по умолчанию) меняем на нужный 8091-8106 4. Firefly http port: 10000 (по умолчанию) меняем на 10001-10016 5. Serenity ip 10.17.1.1 меняем на нужный 6. Serenity port:8888, меняем на нужный 7. Acuario2 dbname:pn1, меняем на нужное имя базы pn1-pn16 8. Postgresql ip: 10.17.1.1 меняем на наш сервер базы данных 10.17.9.101 Запускается ff как демон Проверка, что он запустился #Systemctl status fireflypn2 - видим статус active (running) зеленым цветом, значит все ок. №3 mss #Ls - что лежит в текущей папке, увидим mss #Cd mss #Ls видим скрипт scriptmsscreate.Sh Делаем исполняемым если не проделано ранее #Chmod +x Запускаем #./Scriptmsscreate.Sh Диалог 1. Mss name: mss (по умолчанию), меняем на нужное например msspn2 2. Ff ip: 10.17.1.1 - меняем на наш (10.17.9.103) 3 ff port: 8080 по умолч. Меняем на 8091-8106 4. Serenity ip: 10.17.1.1, меняем на нужный 5. Serenity port: 8888 6. Mss path: /opt Создается папка с именем, указанным в пункте 1 в папке указанной в пункте 6. Запускается mss как демон. Проверяем его статус, аналогично ff #Systemctl status msspn2 Ожидаем состояния active (running) зеленым цветом Использование zip сервера (четвёртого нод) Замена вышедшего из строя сервера (node) 1. Добавить новую ноду и удалить неработающую ноду из кластера 2. Добавить новый монитор и удалить неработающий 3. Добавить новый gluster brick и удалить неработающий Делаем изменение в одном мониторе, остальные подхватят и обновят инфу по рабочим мониторам 3. Добавляем новый gluster brick #Gluster volume add-brick replica 4 :/media/gfs/wbackup force Удаляем сгоревший #Gluster volume delete-brick replica 3 :/media/gfs/wbackup force Nano /etc/pve/storage.Cfg Datacenter → storage → wbackup [edit] (add new node) 4. Удаление osd мертвой машины Id=osd-num Pveceph stop osd. Ceph osd out osd. Pveceph destroyosd # Ceph osd getcrushmap -o crushmapdump # Crushtool -d crushmapdump -o crushmapdump-decompiled # Nano crushmapdump-decompiled # Crushtool -c crushmapdump-decompiled -o crushmapdump-compiled # Ceph osd setcrushmap -i crushmapdump-compiled Получить ответ Set crush map --> all ok Ntp server, синхронизация времени, gps датчик (настройка) 1. Сменить всем вм машинам ip-адреса 2. Сменить всем вм машинам имена 3. Настройка ntpvm: после прохождения 1 и 2 пункта, далее добавить сервер (moxa) # /Usr/lib/npreals2/driver/mxaddsvr 2 #Apt install ntp Затем на каждой ноде нужно поменять значения в файле #Nano /etc/ntp.Conf Меняем на наш ip у ntpvm Server 10.17.9.104 На каждой ноде добавить задание в crone Vm через веб интерфейс #Ntpd - gq Командой #data можно проверить текущее время При удачной сихронизации времени на нодах, значок будет таким Gps/glonass 1. Подсоединить r+/d+ (a); r-/d- (b), где а-зеленый, в- белый 2. Настроить моху (вебморда) Port 2: 3. Виртуальные com ports: Rs-485 = /dev/ttyr(number) Rs-232 = /dev/ttyr0(number) 4. Настройка скорости и т.П.: Chmod . . . Ln -s /dev/ttyr3 /dev/gps0 -для драйвера nmea на 127.127.20.0 (0 - порядковый номер gps устройства) Chmod 777 /dev/ttyr* Stty -f /dev/gps0 115200 (устанавливаем скорость) Для проверки скорости: Stty -f /dev/gps0 5. При правильном подключении проверим выходные данные: Cat /dev/gps0 При неверно выставленной скорости пойдут иероглифы При верной конфигурации - координаты формата nmea 0183 6. Apt install ntp 7. Правим конфиг: 8. Рестарт службы для принzтия настроек: Systemctl restart ntp Systemctl status ntp Не должно быть ошибок, active(running) Проверить на наличие строки в статусе: gps_nmea(0) serial /dev/gps0 open at 115200 bps 8. Ntpq -p Должна быть строка - Gps_nmea(0) .Gps. 0 l 13 64 77 0.000 0.617 0.792с * в самом начале, значит - работает! 9. Обновить время: systemctl stop ntp Ntpd -gq (можно не стопать службу перед выполнением) Systemctl start ntp 10. Если вы используете udev, то полезно будет создать правило /etc/udev/rules.D/10-gps.Rules следующего содержания: Kernel==«ttyr3», name="%k", symlink+=«gps0», mode=«0660», group=«uucp» Сервер авторизации Устранение неисправностей Добавление диска в raid1 (не работает с hdd toshiba) Диагностирование потери одного из дисков в raid1, можно проверить командой Zpool status если «развалился» raid1 на одной из нод, на которой установлен proxmox, необходима ручная замена hdd. После установки жесткого диска фирмы hgst в первый или второй слот корзинки, необходимо проделать от root следующее Fdisk -l /dev/sd* (узнать какие диски видит система) Sgdisk -r /dev/sdb /dev/sda (копирование таблицы разделов) Sgdisk -g /dev/sdb (форматирование в gpt) Grub-install --recheck /dev/sdb (установка загрузчика) Update-grub (обновление загрузчика) Update-initramfs -u Zpool replace rpool /dev/sdb2 (копирование данных в раздел sdb2) Приложения Список необходимого софта и оборудования 1. Ноутбук с ос windows 7 х64, для последующего подключения к общей локальной сети, для удаленной установки proxmox через ipmi (необходимо добавление дополнительного ip в сетевой адаптер на ноутбуке). Так же пригодится для настройки компонентов планеты и передачи файлов на серверы через winscp; 2. Образ proxmox-ve_4.4-eb2d6f1e-2; 4. Usb ключи защиты + reg-файлы с открытыми паролями от 1 до 1600; 3.Девять запакованных образов vm Vm1 Vm2 Vm3 Vm4 Vm5 Vm6 Vm7 Vm8 Vm9 4. Образ live (например winpe10_8_sergei_strelec_x86_x64_2017.03.02_russian) для чистки hdd и диагностики железа; 5. Ipmi supermicro utilities для управления по ipmi (работает только с windows); 6. Подключенный прямой интернет или локальные репозитории (repo) для обновления proxmox, а так же для установки необходимых в работе компонентов; 7. Все необходимые образы (debian 8.5/8.6, отдельно программы для серверной части планеты, winscp, oracle-xe_11.2.0-2_amd64.Deb, oracle-client, скд клиент, integravideo7.0.776, скрипты для установки mms, ff, database на vm-ках; драйвер для moxa под debian, vlc media player, pgadmin1.2) План работы с кластером 1. Настройка bios на каждой ноде 2. Настройка ipmi на каждой ноде 3. Proxmox.Iso install 4. Закинуть local repo и прописать в repo.List пути к ним + поправить /usr/share/perl5/pve/cli/pveceph.Pm 5. Обновить систему и поставить ceph 6. Поставить пакеты mc htop glusterfs-server pv attr ntp 7. Объединить ноды в proxmox cluster 8. Настроить glusterfs 9. Настроить ceph 10. Закинуть vm’s + изменить все ip адреса и hostname 11. Настроить wbackup 12. Настроить ntpvm + прописать на всех nodes /etc/ntp.Conf нужный конфиг Команды для работы в linux с ipe #Systemctl status firefly_tracker статус работы ff #Systemctl status firefly_integration статус работы ff трекинга #Systemctl stop firefly_tracker остановка процесса ff #Systemctl start firefly_tracker запуск процесса ff #Systemctl restart firefly_tracker перезапуск ff #Cd /opt/firefly_tracker переход в папку с трекингом #Python firefly.Py запуск ff #Cd /opt/firefly_integration переход в папку ff #Cd python firefly.Py запуск ff Journalctl -no-pager -o cat -u firefly_tracker -1 просмотр статистики ff трекинга #Systemctl status mss статус работы mss #Systemctl stop mss остановка процесса mss #Systemctl start mss запуск процесса mss #Systemctl restart mss перезапуск mss #Cd /opt/mss_tracker переход в папку с аcuariomanager #Mono am.Console.Exe запуск mms в консольном режиме #Mono am.Gui.Exe запуск mms с графикой #Systemctl status proftpd статус работы ftp сервера #Systemctl stop proftpd остановка процесса ftp #Systemctl start proftpd запуск процесса ftp #Systemctl restart proftpd перезапуск ftp Для смены пароля от root (зная изначальный пароль) #Passwd Задать новый пароль, подтвердить Установка ssh в debian 8.5/8.6 и доступ c другой машины под root Обновляем репозитории Первым делом проверим список (/etc/apt/sources.List) доступных репозиториев. Для этого откроем файл /etc/apt/sources.List в редакторе nano и при необходимости добавим ссылки на официальные репозитории.+ Nano /etc/apt/sources.List При необходимости добавляем официальные репозитории: Если вы обновили список репозиториев, то сохраняйте изменения в файле (ctrl +o) и выполните обновления списка-пакетов: apt-get update Устанавливаем ssh в debian Следующим шагом установим демона openssh. Вбиваем в консоле: На предложение подтянуть недостающие зависимости отвечаем положительно. Все, на этом установка завершена и можно выполнять запуск: Теперь можно брать любой ssh-клиент и попробовать подключиться к серверу. C windows можно использовать winscp. Почему не получается подключиться к ssh под root Если в качестве проверки соединения вы попробуете подключиться под root, то после отправки пароля, сервер будет постоянно ругаться и выдавать access denied. Сделано это намерено, т.К. Нечего давать возможность подключаться root’ом к серверу. Правильней создать отдельного пользоваться, и при необходимости выполнять команды от root с помощью su. Если вы отдаете отчет своим действиям и хотите подключиться по ssh под root’ом, то тогда потребуется отредактировать конфигурационный файл службы ssh: Находите директиву permitrootlogin и заменяете текст после нее на yes. Должно получится так: Сохраняйте изменения (ctrl + o) и перезапустите службу openssh: Все, после этого вы сможете подключиться к серверу с под учетной записью root. Как расшарить папку из консоли linux используя samba Samba - это программное обеспечение для организации обмена файлами и работы с общими ресурсами между компьютерами под управлением linux/unix и операционной системой windows. Samba состоит из клиентской и серверной части.Клиентская часть позволяет получить доступ к сетевым папкам и ресурсам windows, а серверная, в свою очередь, открывает общий доступ к папке ubuntu для других машин, в том числе и windows. Устанавливаем самба: Добавляем пару строк в конец конфига, правим при необходимости путь, имя шары, и возможность гостевого входа/записи. Сохраняем (ctrl+o в nano) Перезапускаем сервис с новым конфигом: Дополнительно: меняем права доступа к общей папке: (разрешено все) Установка video-server 7.0.776 в качестве ретранслятора и проброс usb в vm для ключа защиты После создания vm и установки debian 8.6 (используем debian-8.6.0-amd64-dvd-1) без графики, необходимо закинуть папку с установщиком iv7 v7.0.776 (используя программу winscp от root c компьютера/ноутбука на windows) в /home/videosrv7(имя пользователя)/distr (создать эту папку). Так же необходимо скопировать все четыре reg-файла для ключей защиты с открытыми пароля от 1 до 1600 - для одного кластера. После установки видео-сервера поместить их в папку /home/videosrv7/video-server-7.0/ Как зайти от root по winscp смотри в «установка ssh в debian 8.5/8.6 и доступ c другой машины под root” Перед установкой iv7 v7.0.776 необходимо прокинуть usb ключ с физической машины на виртуальную: На ноде proxmox у которой vm c видеосервером: Ищем нужное нам устройство и смотрим его id: xxxx:yyyy (3b13:4040) От root Где 101 - id виртуальной машины куда будем пробрасывать порт. Перезагружаем vm, а затем перезагружаем ноду. Установка же самого video-server-7.0.776 стандартная, вот команды которые могут пригодится: Заходим в подробный веб-интерфейс видео-сервера и убеждаемся что ключ и рег-файл определились Затем нужно добавить внешний видеосервер (или несколько) Настройки - внешние видеосервера. Затем «плагины» - «логика» и добавляем плагин «сборщик» указав ip сервера (так же добавляем еще серверы если требуется) Это нам позволит увидеть камеры с других центральных серверов и добавить их в свои наборы. Важный момент - при создании наборы нужно добавить любую камеру, даже не существующую. Без этого наборы создать не удастся. Установка и настройка серверной части oracle на os linux (debian 8.5/8.6) + клиент oracle и клиент скд Установка oracle 11g Перед установкой oracle 11g r2 express edition (xe), нужно установить дополнительные пакеты (машина должна быть подключена к internet). Эти пакеты могут быть установлены путем выполнения следующей команды: от root Следующие действия нужны если у вас нет установочного файла с расширением .Deb Перейдем в папку: Дистрибутив oracle 11 нужно скачать с официального сайта затем нужно установить его. http://www.Oracle.Com/technetwork/database/database-technologies/express-edition/downloads/index.Html Следующим шагом будет распаковка скачанного архива с оракл: Данный архив довольно большой и на распаковку потребуется некоторое время, ждем окончания и после чего переходим в нужную директорию для установки: Теперь мы должны преобразовать пакет red hat (rpm) в пакет debian. Это может быть сделано с помощью команды alien. Параметр «-d » используется для информирования, что пакет debian уже сформирован. Выполняем преобразование: Этот шаг может занять некоторое время. Потребуется подождать около 15 минут.По этому если хотите жди окончания, а можно еще открыть один терминал для работы и в нем уже выполнять следующие шаги. Пакет red hat, полагается на файл /sbin/chkconfig, который не используется в ubuntu. Для успешной установки oracle xe мы используем простой трюк. Сохраните файл и закройте редактор. Теперь мы должны предоставить файл с соответствующими привилегиями исполнения. Установим дополнительные параметры ядра. Откройте файл, выполнив: Скопируйте и вставьте следующий код в файле. Kernel.Shmmax является максимально возможное значение физической памяти в байтах. 536870912/1024/1024 = 512 мб. Вставляем в открывшийся файл следующие строки Сохраните файл. Изменения в этом файле могут быть проверены командой: Это говорит о том что параметры введены верно Загружаем параметры для ядра ос: Изменения могут быть вновь проверено командой: Должны увидеть следующий вывод на экран: После этого, выполните следующие инструкции, чтобы сделать еще несколько необходимых изменений: Происходит установка и можно перейти к настройке. Но если вы увидите следующее сообщение о ошибке «execute the following to avoid getting a ora-00845: memory_target error. Note: replace “size=4096m” with the size of your (virtual) machine’s ram in mbs.Выполните следующие действия: Нужно удалить папку: Создаем папку: Монтируем папку для работы: Создаем файл и пропишем параметры в него Сохраните файл, закройте редактор и предоставить соответствующие привилегии выполнения: После такого должно все заработать! Настройка oracle 11g от рута При вопросе выбора порта он предложит тебе порт 8080, соглашаемся и пишем в ответ тоже 8080, попросит еще один порт 1521, соглашаемся и пишем в ответ тоже 1521,далее когда система попросит ввести пароль и логин для бд вводим слово system и там и там. Потом будет еще вопрос, соглашаемся, пишем yes или y. Настройка некоторых параметров для переменных среды: От рута Откроется файл и в самый низ добавляем следующие строки: Сохраните файл и закройте редактор. Чтобы загрузить изменения, выполните следующую инструкцию: Мы не должны увидеть ни какой ошибки Чтобы проверить изменения, которые вы сделали выполните: Должны увидеть следующее: После этого шага рекомендуется перезагрузить компьютер. После перезагрузки запускаем сервер с oracle: от рута В консоли вводим команду от рута Если нет этой папки, ее нужно создать. Или если в папке пусто, то вбиваем следующее: В открывшимся файле ищем строчку root all=(all) all, добавляем под ней строчку oracle all =(all) all, сохраняемся. Переходим в папку Cd /u01/app/oracle/ptroduct/11.2.0/xe/network/admin, тут ищем два файла listener.Ora и tnsnames.Ora, открываем их Чтобы проверить работает сервер, или нет вводим от рута команду В случае успешной установки и настройки oracle-xe мы должны увидеть следующее Если установка прошла не корректно, то в информации после проверки появятся красные строчки. Рекомендуется снова проверить файл sudoers в папке etc. Далее можно переходить к установке клиентской части. (Wine i386, winetricks, клиент oracle, скд) Инструкция по установке wine и winetricks в linux (Опробована только на kde с графикой) Wine - специальное по, которое позволяет запускать приложения, созданные для windows, в unix-подобных системах, в том числе linux. Winetricks представляет собой запускаемый файл-скрипт. При его запуске появляется окно, содержащее длинный список программ, которые через этот скрипт можно установить. |
