Что такое server blade. Когда следует переходить на Blade-серверы? Внешние подключаемые блоки

В Конспекте мы часто обходим стороной enterprise-технологии из-за их малой применимости в не столь масштабных проектах. Но сегодняшняя статья – исключение, потому что речь пойдет о модульных системах, "блейдах".

Не так много архитектурных изысков в IT-мире, которые были бы окутаны большим ореолом "невероятной крутости" и сравнимым набором мифов. Поэтому не буду усложнять еще больше, и просто расскажу об особенностях и применимости такого рода систем на практике.

LEGO для инженера

Блейд-сервер почти обычный сервер, в котором есть привычная материнская плата, оперативная память, процессоры и множество вспомогательных систем и адаптеров. Но "почти" заключается в том, что такой сервер не предназначен для автономной работы и поставляется в специальном компактном корпусе для установки в специальное шасси.

Шасси – или "корзина" – ни что иное, как большой короб с посадочными местами для серверов и дополнительных модулей. Все серверы и компоненты соединены при помощи большой коммутационной платы (Backplane) и образуют блейд-систему .

Если разобрать всю систему на составляющие, то на столе окажется следующая горка:

Блейд-серверы (лезвия) – серверы без блоков питания, вентиляторов, сетевых разъемов и модулей управления;

Шасси – корпус и бэкплейн;

Системы питания и охлаждения для всех компонентов системы;

Коммутационные устройства для связи с внешним миром;

Модули управления (различные вариации на тему IPMI).

От обычного серверного шкафа все это добро отличается компактными размерами (обычно 6-10U) и высоким уровнем надежности, так как все компоненты могут быть зарезервированы. Здесь, кстати, кроется один из мифов: десяток лезвий не собирается в один большой сервер. Это будет просто десяток серверов с общей инфраструктурой.

К слову, у HPE есть решения, напоминающие традиционные blade-серверы – HPE Superdome . В качестве лезвий там используются процессорные модули с оперативной памятью. В таких решениях вся система действительно представляет собой один высокопроизводительный сервер.

Нюансы архитектурных решений разных производителей блейд-систем на Хабре (статья хоть и старая, но в своих основах актуальная), поэтому я для иллюстрации использую блейд-систему от HPE – BladeSystem c7000 .

В роли лезвий могут выступать:

Дисковые массивы – например, в который можно установить до 12 дисков 2,5’’. Так легко и непринужденно нескольким серверам можно выдать общее DAS-хранилище;

Коммутаторы SAN для доступа к внешним системам хранения и полноценные NAS-серверы – например, HPE StorageWorks X1800sb ;

Ленточные устройства.

На картинке ниже изображена полностью укомплектованная система HPE BladeSystem c7000. Расположение компонентов понятно и так – обратите только внимание на секцию Interconnect modules. В каждый ряд устанавливается отказоустойчивая пара сетевых устройств или pass-thru модулей для простого проброса серверных сетевых интерфейсов наружу.

В компактное лезвие HPE ProLiant BL460c Gen8 помещается только два диска 2,5’’. Для большей красоты вместо дисков можно использовать сетевую загрузку с дисковой системы SAN или PXE.

Ниже изображена более компактная блейд-система от IBM. Общие принципы те же, хоты расположение узлов тут отличается:

Интереснее всего в блейдах, на мой взгляд, сетевая составляющая. С использованием модных конвергентных коммутаторов можно творить настоящие чудеса с внутренней сетью блейд-системы.

Немного сетевой и Enterprise магии

В качестве сетевых модулей могут выступать специальные коммутаторы Ethernet или SAS, либо умеющие и то и другое. Разумеется, в блейд-систему нельзя установить обыкновенный коммутатор, но совместимые модели производятся привычными брендами. Например "великолепной тройкой" HPE, Cisco, Brocade. В самом простом случае это будут просто модули доступа к сети, выводящие все 16 лезвий наружу через 16 портов Ethernet – HPE Pass-Thru .

Такой модуль не уменьшит количество сетевых проводов, но позволит подключиться к корпоративной LAN с минимальными вложениями. Если же вместо него использовать недорогой Cisco Catalyst 3020 с 8 портами 1GbE Ethernet и 4 портами 1GbE SFP, то к общей сети нужно будет подключить лишь несколько общих портов шасси.

Такие сетевые устройства своими возможностями не отличаются от обычных. Значительно интереснее выглядят модули HPE Virtual Connect (VC). Главная их особенность – возможность создавать несколько отдельных сетей с гибким распределением полосы пропускания LAN и SAN. Например, можно подвести к шасси 10GbE и "нарезать" из него 6 гигабитных LAN и один 4Gb SAN.

При этом VC поддерживает до четырех подключений к каждому серверу, что открывает определенные просторы для творчества и сборки кластеров. Подобные решения есть и у других производителей – нечто подобное от Lenovo называется IBM BladeCenter Virtual Fabric .

Вопреки расхожему мнению, сами по себе блейды не отличаются от обычных серверов, и никаких особых превосходств в плане виртуализации не предоставляют. Интересные возможности появляются только с использованием специальных, vendor-locked технологий, вроде VC от HPE или LPAR от Hitachi.

Несколько IPMI из одной консоли

Для настройки блейд-серверов можно использовать встроенные модули аппаратного управления BMC (iLO в случае HPE). Механизм администрирования и удаленного подключения мало отличается от обычного сервера, но сами управляющие модули Onboard Administrator (OA) могут резервировать друг друга и предоставляют единую точку входа для управления всеми устройствами в шасси.

OA могут быть со встроенной консолью KVM для подключения внешнего монитора, либо с одним лишь сетевым интерфейсом.

В общем и целом, администрирование через OA выглядит следующим образом:

Еще лучше – подключить блейд-систему к внешнему управляющему ПО вроде HPE Insight Control или сменившей ее . Тогда можно настроить автоматическую установку операционной системы на новое лезвие и распределение нагрузки кластера.

К слову о надежности – блейды ломаются точно так же, как обычные серверы. Поэтому при заказе конфигурации не пренебрегайте резервированием компонентов и внимательным изучением инструкций по прошивке. Если подвисший Onboard Administrator доставит лишь неудобства администратору, то неправильное обновление прошивок всех элементов блейд-системы чревато ее неработоспособностью.

Но за всей этой магией мы совсем забыли о приземленных материях.

Нужен ли блейд в вашей компании

Высокая плотность, небольшое количество проводов, управление из одной точки – это все хорошо, но оценим и стоимость решения. Предположим, в абстрактной организации нужно запустить разом 10 одинаковых серверов. Сравним стоимость блейдов и традиционных стоечных моделей HPE ProLiant DL. Для простоты оценки не беру в расчет стоимость жестких дисков и сетевого оборудования.

Цены актуальны на 06.02.2017, источник – STSS

Разница почти в два миллиона рублей, при этом я не закладывал полную отказоустойчивость: дополнительный модуль управления и, в идеале, еще одно шасси. Плюс, лишаемся удобной сетевой коммутации из-за использования самых дешевых pass-thru модулей для простого вывода сетевых интерфейсов серверов наружу. VIrtual Connect был бы здесь более уместен, но цена…
Получается, что "в лоб" экономии не выйдет, поэтому перейдем к остальным плюсам и минусам блейдов.

Еще немного аргументов

К очевидным плюсам блейд-систем можно отнести:

Плотность установки. Если нужно много-много серверов в одном ДЦ, блейды похожи на спасение;

Аккуратная и компактная кабельная инфраструктура за счет гибкой внутренней коммутации блейдов;

Удобство управления – всей корзиной можно управлять из одной консоли и без установки дополнительного ПО;

Легкая установка новых лезвий, пока есть место в шасси – прямо как с дисками в корзинах с горячей заменой. В теории, можно сразу при установке лезвия загружать настроенную систему по PXE и распределять ресурсы в кластере;

Надежность. Практически все узлы могут быть зарезервированы.

Но как же без минусов:

Ограниченность лезвия. Если нужен сервер с четырьмя процессорами и большим количеством локальных жестких дисков (например, NMVE SSD), то установка столь крупного лезвия в четверть всей емкости шасси делает бессмысленным использование корзины высокой плотности;

Надежность. Несмотря на дублирование компонентов присутствует единая точка отказа – коммуникационная плата (бэкплейн) шасси. При сбое могут отказать все лезвия;

Невозможность разделения. Если нужно создать территориально распределенный кластер, нельзя просто вытащить и перевезти половину серверов – потребуется еще одно шасси;

Стоимость. Само по себе шасси стоит как три лезвия, а лезвие стоит как полноценный сервер.

Так что же выбрать

Блейды очень органично смотрятся в действительно крупных ЦОД, вроде хостинговых компаний. В таких сценариях на первое место выходит скорость масштабирования и максимальная плотность размещения оборудования – экономия на пространстве и администрировании вполне может окупить и корзину, и всякие Virtual Connect.

В остальных случаях более разумным и универсальным видится применение обычных стоечных серверов. Кроме того, широкое распространение быстрых систем виртуализации еще больше снизило популярность блейдов, так как большинство приложений можно "уплотнить" и с помощью виртуальных серверов. Что уж говорить, управлять виртуальными машинами еще удобнее, чем блейдами.

Если вам доводилось использовать блейд-системы в не самых крупных компаниях – поделитесь впечатлениями от администрирования.

С компонентами, вынесенными и обобщёнными в корзине для уменьшения занимаемого пространства. Корзина - шасси для блейд-серверов, предоставляющая им доступ к общим компонентам, например, блокам питания и сетевым контроллерам. Блейд-серверы называют также ультракомпактными серверами .

Внутренняя структура

В блейд-сервере отсутствуют или вынесены наружу некоторые типичные компоненты, традиционно присутствующие в компьютере . Функции питания, охлаждения, сетевого подключения, подключения жёстких дисков , межсерверных соединений и управления могут быть возложены на внешние агрегаты. Вместе с ними набор серверов образует так называемую блейд-систему.

Обязательно должны быть размещены в блейд серверы процессор и оперативная память, остальные компоненты принципиально могут быть вынесены в корзину; концепция блейд-сервера предусматривает замену части остальных компонентов внешними агрегатами (блоки питания) или их виртуализацию (порты ввода-вывода, консоли управления), тем самым значительно упрощая и облегчая сам сервер.

Внешние подключаемые блоки

Блейд-системы состоят из набора блейд-серверов и внешних компонентов, обеспечивающих невычислительные функции. Как правило, за пределы серверной материнской платы выносят компоненты, создающие много тепла, занимающие много места, а также повторяющиеся по функциям между серверами. Их ресурсы могут быть распределены между всем набором серверов. Деление на встроенные и внешние функции варьируется у разных производителей.

Источники питания

Преобразователь напряжения питания, как правило, создается общим для всей блейд-системы. Он может быть как вмонтирован внутрь неё, так и вынесен в отдельный блок. По сравнению с суммой отдельных блоков питания, необходимых серверам формата , единый источник питания блейд-систем - один из самых весомых источников экономии пространства, энергопотребления и числа электронных компонентов.

Охлаждение

Традиционный дизайн серверов пытается сбалансировать плотность размещения электронных компонентов и возможность циркуляции охлаждающего воздуха между ними. В блейд-конструкциях количество выступающих и крупных частей сведено к минимуму, что улучшает охлаждение модулей.

Сетевые подключения

Современные сетевые интерфейсы рассчитаны на чрезвычайно большие скорости передачи данных через токопроводящие и оптические кабели. Такая аппаратура дорога́ и занимает место в конструкции сервера. Частый случай - чрезмерная пропускная способность сетевых интерфейсов, чьи возможности оказываются не востребованы в практических задачах. Объединение сетевых интерфейсов в одно устройство или использование специальных блейд-слотов, занятых исключительно работой с сетью, позволяет сократить количество разъемов и снизить стоимость каждого из подключений.

Использование дисковых накопителей

Хотя для хранения объёмов данных и программ необходимы значительные ёмкости, им не обязательно размещаться локально. Такие интерфейсы, как FireWire , SATA , SCSI , DAS , Fibre Channel и iSCSI позволяют подсоединять накопители на значительном удалении от процессоров. По аналогии с сетевыми подключениями (а интерфейс iSCSI опирается только на них) соответствующие устройства могут быть размещены в корпусе блейд-системы или смонтированы на выделенных блейд-слотах.

Специальное решение в виде блейд-системы, загружаемой через сеть хранения данных (SAN), позволяет создать исключительно надежную и компактную серверную систему.

Специализированные блейд-слоты

Стандартизация интерфейса блейд-слота позволяет создавать устройства, способные не только производить вычисления, но и предоставлять другие сервисы, например, функции сетевого коммутатора, роутера, быстрого подключения к локальной сети или оптоволокну. Эти ресурсы могут использоваться другими блейд-слотами.

Области применения

В стандартных серверных стойках минимальный размер сервера - 1 юнит , как правило, такие стойки вмещают 42 юнита оборудования, то есть максимум 42 сервера при размещении без корзин. Использование блейд-серверов позволяет обойти это ограничение не выходя за размеры стандартной стойки и разместить до 100 серверов в каждой.

Блейд-серверы особенно эффективны для решения специфических задач: веб-хостинга , организации кластеров . Серверы в стойке, как правило, поддерживают горячую замену .

Хотя технология построения блейд-систем не является закрытой (принадлежащей какой-то одной компании), при использовании компонентов одного производителя возникает меньше проблем с инсталляцией и настройкой. Стандартизация сопряжений могла бы сделать технологию доступнее для пользователя и расширить выбор поставщиков.

При всех достоинствах, эту технологию нельзя считать решением всех серверных проблем. Крупные задачи требуют все же применения более масштабных систем для своего решения, таких как мейнфреймы и кластеры . Также могут быть использованы кластеры, состоящие из блейд-серверов. Такая структура особенно подвержена проблеме перегрева ввиду плотной компоновки электроники в каждом из них.

История создания

Микрокомпьютеры, умещавшиеся в 1 слот стандартной 19-дюймовой стойки, стали использовать ещё в 1970-е годы, вскоре после разработки 8-битных микропроцессоров. Наборы таких слотов использовали в управлении промышленными объектами, заменяя мини-компьютеры. Программы записывались в электрически программируемую память (EPROM) на слоте, их функциональность ограничивалась одной несложной операцией, выполняемой в

Высокая производительность

Комментарии к некоторым постам хабра заставили задуматься, есть ли понимание у народа о серверах высокой плотности и их возможностях. Целью написания данного поста является внесение определенности по этому вопросу. Также планируется, что этот пост станет первым в череде статей на тему HPC (high performance computing , высокопроизводительные вычисления).

Сервера высокой плотности наиболее востребованы в технологиях построения суперкомпьютеров кластерного типа, систем виртуализации и организации облаков, систем параллельного доступа к системам хранения, систем аналитических расчётов, поисковых системах и др. Их применение обусловлено, прежде всего, невозможностью выполнить все предъявляемые требования, используя иные технологии. Рассмотрим варианты решений, их плюсы и минусы.

Блейд-сервера (Blade)

На Западе мест размещения серверов в ЦОД’ах уже давно не хватает. Поэтому неудивительно, что сервера высокой плотности впервые появились там. Пионером была компания RLX Technologies, которая в 2000 году разработала систему, умещающую в 3U 24 лезвия. Основные заказчики этих первых Blade-серверов были вояки и NASA. Далее этот startup был куплен HP. Но самое главное было сделано - был создан сервер высокой плотности.

За пионерами последовали и гиганты: Intel, IBM, HP. Далее - DELL, SUN, Supermicro, Fujitsu, Cisco, HDS и др.

Основные отличия Blade-систем от RACK-серверов, помимо высокой плотности, заключается в интеграции серверов с сопутствующей инфраструктурой: сети, мониторинг, управление, охлаждение и электропитание. Всё это расположено в одной коробке и по возможности обладает элементами отказоустойчивости. Объединяющим элементом является BackPlane – системная плата, обычно пассивная. К ней подключаются все элементы Blade-системы. Место, занимаемое в шкафу, варьируется от 3U до 10U. Самыми высокоплотными решениями являются HP Blade и DELL PowerEdge – 3,2 сервера на 1U. Практически все производители делают сервера только на процессорах семейства x86/x64. Но существуют также и решения на RISC, MIPS и ARM процессорах.

Кстати, в решении RLX Technologies плотность серверов была выше. Это обусловлено тем, что в нем использовались одноядерные процессора Celeron, которые сейчас используются в основном только лишь для настольных тонких клиентов. Понятно, что тепловыделение современных процессоров гораздо выше, и именно это пока не позволяет увеличивать плотность в современных решениях.

В чем преимущества блейд-серверов? Давайте выделим основные моменты:

Система мониторинга и управления обладает расширенными функциями по сравнению с RACK-серверами.
Наличие нескольких типов сетей в каждом сервере-лезвии. Это могут быть: Ethernet (100Mb/s, 1Gb/s, 10Gb/s), FibreChannel (2Gb/s, 4Gb/s, 8Gb/s, 16Gb/s), InfiniBand (SDR, DDR, QDR, FDR).
Встроенные элементы охлаждения и электропитания обладают элементами отказоустойчивости.
Горячая замена всех сменных компонентов.
Возможность организации встроенной дисковой системы хранения данных для всех установленных серверов-лезвий.
Плотность размещения в шкафу.

В чем слабые стороны? Основные недостатки , которые видятся мне существенными:

Высокая цена неполного комплекта. Только при достижении заполнения порядка 70% мы получаем близкие цены с RACK’овыми аналогами.
Ограничение по расширению конфигураций сервера-лезвия.
Ограниченность одновременного использования сетевых интерфейсов.
Невозможность, в ряде случаев, организовать неблокирующуюся сеть между серверами-лезвиями и внешним миром.
Ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
Проприетарные технологии. Купив у одного производителя оборудование – будешь покупать только у него.
Повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).

Рассмотрим структуру Blade системы на примере решения от компании Dell. Это Dell PowerEdge M1000e.

Сервера-лезвия могут иметь от двух до четырёх процессоров. В зависимости от количества и типа процессоров в одно шасси можно установить от 8 до 32 лезвий-серверов. Каждое лезвие-сервер может иметь интерфейсы 1GbE, 10GbE, 8Gb/s FC, IB DSR, DDR, QDR, FDR. Базово имеются порты 1GbE.

В зависимости от размера лезвий, количество устанавливаемых мезонинных модулей интерфейсов может быть один или два. Каждый из мезонинных модулей может иметь четыре порта 1GbE или два порта любых других интерфейсов.

Для организации отказоустойчивой схемы в шасси коммутаторы устанавливаются парами. Возможно установить три пары коммутаторов. Каждая пара должна состоять из одинаковых коммутаторов. Соответственно, могут быть различные комбинации:

Первая пара (A) 1GbE;
Вторая пара (B) 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR);
Третья пара (С) 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR).

Так же для отказоустойчивости устанавливаются два модуля удалённого мониторинга и управления. Данные модули позволяют удалённо управлять любым лезвием. От включения, настройки BIOS’а, выбора источника загрузки, установки ОС как с внутреннего носителя, так и с локального носителя администратора до предоставления полноценного удалённого доступа к KVM.

Одним из вариантов загрузки, является загрузка с SD карточки. Таких карточек в лезвии можно установить две и иметь возможность загружаться с любой. Так же возможно их объединить в зеркало.

Единственным модулем, не имеющий резервирования, является модуль KVM. Но отказ этого модуля не отменяет возможности подключения и управления через сеть.

При использовании лезвий M420 плотность серверов на 1U равна 3,2 сервера.

TWIN-сервера

Альтернативой по плотности существующим Blade-системам являются их младшие братья – TWIN. Данная технология была разработана в компании Intel и для продвижения на рынок передана компании Supermicro в 2006 году. Первые TWIN-сервера появились в 2007 году. Это был 1U’шный двухсерверный конструктив с одним блоком питания, где все коммутационные разъёмы были выведены на тыловую часть серверов.

Данная компоновка за эти шесть лет получила признание, и линейка сильно расширилась. Сейчас доступны 1U, 2U и 4U TWIN-сервера с возможностью установки от 2-х до 8-ми двухсокетных серверов. У некоторых производителей появились варианты с размещением вместо двух двухсокетных серверов одного четырёхсокетного. Основные плюсы и минусы перечислю ниже.

Плюсы TWIN-серверов:

Всё расположено в одном корпусе-шасси.
Наличие нескольких типов сетей в каждом сервере. Это могут быть: Ethernet (100Mb/s, 1Gb/s, 10Gb/s), InfiniBand (SDR, DDR, QDR, FDR).
Встроенные элементы охлаждения и электропитания в ряде моделей обладают элементами отказоустойчивости.
В ряде TWIN-серверов горячая замена всех сменных компонентов.
Использование стандартных PCI-e плат расширения.
Возможность организации встроенной дисковой системы хранения данных.
Плотность размещения в шкафу.
Цена ниже, чем Blade и RACK сервера.

Минусы:

Требуется наличие внешних сетевых коммутаторов.
Невозможность отторжения сервера-лезвия как самостоятельной единицы.
В ряде случаев ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
При полной забивке шкафа TWIN-серверами повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).
Плотность размещения серверов ниже, чем у блейдов.

Как мы видим из плюсов-минусов, TWIN-сервера и блейд-сервера являются скорее не конкурентами, а органичным дополнением друг друга.

Одними из ярких представителей TWIN-серверов являются серверы Dell С6000 серии. Они представляют собой 2U’шный конструктив с двумя БП и возможностью установить два, три или четыре модуля-сервера. В каждый сервер можно установить две или три платы расширения с интерфейсом PCI-e.

Микросервера

Наш рассказ будет не полным, если мы не расскажем о последних веяниях конструктивов серверов для ЦОД’ов. Речь пойдет о микросерверах. Это односокетные сервера с минимизацией размеров и электропотребления. Рассчитывать на серьёзные характеристики по производительности не стоит. Одним из представителей этого вида серверов является сервер компании Supermicro, представленный на рисунке.

Как видно из рисунка, плотность данного решения равна уже 4 сервера на 1U. Возникновение данного класса серверов продиктовано невысокими требованиями к серверам для большинства приложений, используемых клиентами. Микросервера могут быть применимы в качестве альтернативы виртуализации. Когда какое-либо приложение не рекомендуется виртуализовывать по тем или иным причинам. Небольшие микросервера также подойдут для типовых невысоконагруженных офисных задач.

Вывод

Я постарался не углубляться в детали каждого отдельно взятого производителя. Эти детали можно изучить непосредственно на сайтах этих производителей.

Пугает системных администраторов без опыта работы с этой страшной «железкой». Для многих это что-то мега сложное и дорогое, до чего еще расти и расти в профессиональном плане. Я постараюсь ответить письменно на вопросы, которые поступают от читателей сайта по поводу блейд серверов, показать, что все совсем наоборот. Конечно, все будет в разрезе виртуализации и частные случаи браться в расчет не будут. В тексте, по мере появления комплектующих, будут даваться цены на них и точные названия с парт номерами.

Для начала рассмотрим две картинки, которые будем разбирать на протяжении всего повествования. Первая, схема подключения серверов к системе хранения (SAN) и к локальной сети (LAN) с дублированием элементов системы. Постарайтесь не запутаться в проводах, как это часто бывает на практике в таких инсталляциях.

Вот так это выглядит на обычных серверах

Итак, снизу вверх. SAN – Storage Area Network – в случае виртуализации, это подключение по кабелю SAS или через оптические кабели Fiber channel (FC). Еще есть iSCSI, но это уже не SAN а NAS - Network Attached Storage. В этой статье не будем его рассматривать, т.к. iSCSI в серьезных проектах не применяется, уступая им в скорости передачи данных. И до тех пор пока 10Gibt свитчи и сетевые карты будут настролько же дороги, правильнее использовать FC (8Gbit) и SAS (6Gbit).

В системе хранения данных, обычно, два контроллера, и работают они в режиме active-active. Сначала из жестких дисков на СХД создаются RAID группы, потом в этих группах создаются логические разделы LUN-ы. Если у вас на серевере будет установлен Windows, то LUN будет отображаться как еще один жесткий диск, его нужно будет отформатировать в NTFS и пользоваться. Если же вы подключили LUN к серверу c ESXi, то он будет отформатирован в VMFS.

В режиме active-active работы контроллеров, каждому LUN присвоен свой контроллер, через который серверы подключаются к нему, таким образом происходит распределение нагрузки в СХД. Для того чтобы сервер мог подключиться к СХД и получить доступ ко всей информации в штатном режиме, его нужно соединить с каждым контроллером. Поэтому в слоты PCI-E нужно вставить два HBA адаптера, или один, но двух портовый.

Для SAS цены такие. Расчет на 3 сервера

HBA адаптер - 46M0907 - IBM 6Gb SAS HBA – 280$ - нужно 6 шт
SAS кабель 3 метра - 39R6531 - IBM 3m SAS Cable – 100$ - нужно 10 штук
SAS switch - LSI00269 - STORAGE SWITCH SAS 16P/LSI00269 LSI – 2500$ - нужно 2 шт

Для FC оптики все еще дороже. Расчет на 3 сервера

HBA адаптер - 49Y3760 - QLogic 8Gb FC Single-port HBA for IBM System x – 952$ - нужно 6 штук
FC кабель 5 метров - 39M5697 - 5m Fiber Optic Cable LC-LC – 141$ - нужно 10 шт
FC switch - 249824E - Express IBM System Storage SAN24B-4 – 3100$ - нужно 2 шт
Набор оптических трансиверов в switch - 45W0500 - SFP 8 Gbps SW – 351$ - нужно 2 шт
Трансиверы в СХД - 39R6475 - IBM 4-Gbps Optical Transceiver – SFP – 70$ - нужно 4 шт

Ну вот мы подключили серверы к СХД. Оплели всю стойку проводами и боимся подумать, как будем расширяться, если вдруг захотим еще пару серверов подключить. Особенно в случае с FC, где придется докупать дополнительные лицензии, чтобы активировать дополнительные порты в оптических свитчах. Замечу, что в если у нас одноюнитовые серверы, то там, скорее всего, два порта PCI-E и они уже заняты HBA адаптерами.

Теперь выпускаем серверы в локальную сеть (LAN), задействуем два (оба) порта для отказоустойчивости. Подключаем перекрестно к двум сетевым свитчам, добавляется еще 6 проводов. Вы спросите, почему я все время акцентирую внимание на проводах и их коммутации? Потому что в блейд сервере таких проблем нет.

Шасси блейд сервера – это корпус высотой до 10U, в нем скрыта вся коммутация, в него нужно будет вставлять лезвия. Лезвие – это сервер в компактном корпусе, в нем все также как и в обычном сервере: 2 процессора, слоты памяти, место для двух жестких дисков размером 2.5 дюйма и в них нет вентиляторов для охлаждения, воздух гонят FAN система в шасси. Архитектура изначально построена с тем расчетом, что у вас будет система хранения, поэтому места для HDD так мало, только на установку операционной системы. Необычно выглядят карты, которые вы можете докупить в лезвия. На первой картинке FC HBA, на второй SAS HBA.

«Куда же втыкать кабель?» - спросите вы. В том и прелесть, что все подключится само и куда надо. С обратной стороны шасси есть слоты для установки всего необходимого. В первую очередь это сетевые свитчи, через которые лезвия будут соединяться с локальной сетью или глобальной. В каждом лезвии есть две встроенные сетевые карты, если вы установите с обратной стороны только один сетевой свитч, то одна карта сразу подключится к нему, а другая будет никуда не присоединена, пока не будет установлен второй свитч. Все изначально так придумано для обеспечения дублирования элементов и повышения отказоустойчивости. Получится та же схема, что и на самой первой картинке, только не будут торчать провода в разные стороны. Причем в сетевом свитче есть внутренние порты, для подключения лезвий, и внешние которые используются для коммутации с оборудованием вне корзины. Внутренние порты скрыты, но их хватит, чтобы подключить все лезвия при полном заполнении блейд шассии.

Сетевой switch для блейд шассии - 32R1860 - Nortel Networks Layer 2/3 Copper GbE Switch Module for BladeCenter – 2 186$ - нужно 2 шт.

Подключение к Блед сервер <-> СХД по SAS скорость 6Gbit/s на каждый порт

С SAS все обстоит, примерно, так же, докупаются две платы SAS HBA и два SAS switch в блейд корзину. После установки комплектующих, можно подключить систему хранения данных по SAS ко всем лезвиям. Для этого каждый контроллер СХД нужно соединить SAS кабелем с каждым SAS switch-ем блейд корзины, крест на крест. Всего 4 кабеля. В расчете на 3 сервера внутри корзины остаются 6 SAS кабелей, которые могли бы мешать нам.

SAS switch для блейд шасси - 39Y9195 - IBM BladeCenter SAS Connectivity Module – 998$ - нужно два
SAS HBA адаптер для лезвия 2-ух портовый - 43W4068 - SAS Connectivity Card (CIOv) for IBM BladeCenter – 212$ - для трех лезвий берем 3 шт

Подключение к Блед сервер <-> СХД по FC скорость 8Gbit/s на каждый порт

FC подключение выходит сильно дороже, а методика та же, что и с SAS. Дополнительные траты могут возникнуть, если ваша система хранения не оснащена оптическими портами по умолчанию и нужно будет докупать карты расширения в нее, как это происходит с популярными IBM DS3524 и IBM DS3512. Чтобы они начали работать по оптике, докупаются еще две Daughter Card. Что касается цен, то

FC switch в блед шассии - 44X1920 - Brocade 20-port 8 Gb SAN Switch Module for IBM BladeCenter – 13 093$ - нужно два, не дешево, да
Набор трансиверов для FC switch - 44X1962 - Brocade 8 Gb SFP+ SW Optical Transceiver – 296$ - как минимум 8шт или 12 в оба свитча
FC HBA в лезвия двух портовые - 44X1945 - QLogic 8Gb Fibre Channel Expansion Card (CIOv) for IBM BladeCenter – 1 197$ - по одной в каждое лезвие

Подводя итог , решение на блейд сервере дороже решения на обычных серверах, но оно того стоит. Вы получите очень качественный и понятный агрегат, который позволит вам легко расширять свои вычислительные мощности, просто докупая лезвия, не задумываясь о коммутации, месте в стойке, охлаждении. В сочетании с виртуализацией решение превращается в идеальное сочетание, т.к. архитектура блейд сервера и подключенного к нему СХД (или нескольких) – это как раз та схема, которая обозначается как документах по дизайну инфраструктуры, как рекомендуемая.

Поэтому если позволяет бюджет, запрашивайте коммерческие предложения, построенные на блейд серверах. При подключении СХД через SAS к корзине это уже и не так дорого получается, вполне доступно. Весь прайс лист публиковать не буду, это бессмысленно, но обозначу некоторые моменты.

Шасси стоит 5 100 $
Лезвия начинаются от 3 300$ в начальной комплектации, по цене как и обычные серверы
Система хранения без дисков 5 300$ с 4-мя встроенными SAS портами

IBM очень хорошо относится к компаниям заказчикам, которые в первый раз покупают продукцию, а особенно к тем, кто покупает решения, несомненно, блейд сервер считается решением. IBM любит конкурировать с HP и в последние годы у нее это получается. Выражается это в очень хороших скидках иногда до 30% на готовое коммерческое предложение.

P.S. тема многосторонняя, если считаете, что статью стоит чем-то дополнить, шлите пожелания на почту (справа над баннерами), я старался максимально доступно писать.

СЕРВЕРОВ! БЛЕЙД КОНФИГУРАТОР - это удобный инструмент, помогающий быстро и просто подобрать оптимальный вариант серверного оборудования для Blade-систем.

BLADE серверы - это уникальное технологическое решение. Объемы данных постоянно растут, для их обработки и хранения предназначены специализированные Центры Обработки Данных или ЦОДы. Но, если объемы Данных наращиваются с высокой скоростью, возникает острая необходимость в том, чтобы плотность размещения вычислительных машин была максимальной, а такая плотность требует огромных затрат ресурсов.

ЗАДАЧА: Увеличить число вычислительных машин размещенных в ограниченном пространстве, а так же снизить расходы на их обслуживание.

Существует два варианта решения этой проблемы. Первый из них - это сложные многопроцессорные системы, занимающие много места. А второй… Вот о нем-то мы и поговорим более подробно, ведь вторым способом увеличить производительность в ограниченном пространстве любого вычислительного центра стали так называемые «ЛЕЗВИЯ, то есть BLADE СЕРВЕРЫ.

Сравнение БЛЕЙД серверов различных производителей

Фактически БЛЕЙД система состоит из следующих компонентов:

BLADE сервер - по сути является обычным rack сервером только без блока питания и с пассивными радиаторами, когда убраны все «лишние компоненты»;
Собственно - корпус и пассивная плата Backplane, обеспечивающая коммутацию установленного оборудования;
Системы питания и охлаждения: вентиляторы и блоки питания, вынесенные за пределы корпуса;
Внешние коммутационные устройства: Ethernet, FC, Infiniband.

Вместо обычных PCI-E и PCI-X плат в Blade-Сервер вставляются мезонинные карты, которые позволяют использовать интерфейсы FC, Infiniband, SAS или дополнительные порты Ethernet при условии наличия в блейд-шасси соответствующего коммутационного модуля.

ГЛАВНЫЕ ПРЕИМУЩЕСТВА BLADE СЕРВЕРОВ

Стандартный Blade-сервер представляет собой чрезвычайно компактную серверную плату, на которой имеются все необходимые компоненты. Точно такие же есть и на обычных серверах, с той лишь разницей, что на «ЛЕЗВИИ» и процессоры, и память, и сетевые интерфейсы занимают ничтожно малое пространство. Таким образом, успешно справляясь с теми же задачами, БЛЕЙД СЕРВЕРЫ, в отличии от своих более громоздких собратьев, реально решают для пользователей проблему недостатка свободного пространства. Плата небольшого размера просто устанавливается в шасси. Эта плата коммутирует общие блоки питания, систему охлаждения, общую систему управления.

ВЫГОДА

Снижение общей стоимости затрат на ИТ инфраструктуру;
Обеспечение надежности систем питания и охлаждения;
Сокращение количества наружных портов, коммутационных проводов, а так же кабелей питания;
Повышение удобства управления системой в целом;
Уменьшение занимаемой площади;
уменьшение энергопотребления и тепловыделения;
Высокая масштабируемость;
Гибкость!

Еще одно довольно весомое преимущество «ЛЕЗВИЙ» вот в чем: после внедрения BLADE технологии стандартный ДАТАЦЕНТР не только уменьшится в размерах, благодаря использованию BLADE серверов, современные IT-подразделения могут избавиться от использования дорогостоящего запатентованного оборудования и программного обеспечения, то есть управление серверами станет не только более открытым, но еще и более простым. А это отличный повод меньше платить за аренду помещения ЦОДа. Немаловажным преимуществом также является тот факт, что с задачей управления большим количеством серверов-«лезвий» вполне по силам справиться всего одному техническому специалисту!

В каких случаях следует кардинально менять ИТ-инфрастуктуру и переходить на внедрение BLADE СЕРВЕРОВ?

В наиболее общем виде основным мотивом перехода на закупки Blade-систем является общая МОДЕРНИЗАЦИЯ СЕРВЕРНОЙ ИНФРАСТРУКТУРЫ и стремление заказчиков перейти от имеющегося серверного зоопарка к более современной и упорядоченной системе серверов в организации.

Важным дополнительным аргументом в пользу выбора Blade-систем является наличие реального или планируемого РЕШЕНИЯ ПО КОНСОЛИДАЦИИ СИСТЕМ ХРАНЕНИЯ ДАННЫХ. В пользу этого соображения также можно привести тот факт, что запросы на спецификации Blade-серверов очень часто предполагают и заказ Дисковых массивов данных, например, HP EVA или HP MSA. Действительно, одновременный переход на BLADE и консолидированное хранение данных имеет неоспоримое преимущество, ведь больше не требуется хранить большие объемы информации во внешней памяти самих серверов! По всем остальным параметрам современные Blade Серверы совершенно не уступают своим стоечным аналогам.

Использование серверов Блейд для организации терминальной системы: весьма распространен выбор Blade для реализации системы Сервер-Терминал. К выгодам и удобствам серверного конструктива можно отнести отсутствие большого числа соединительных кабелей для полок, удобную визуализацию полки и быструю идентификацию отдельных модулей в нем.

Грамотно подобранное BLADE оборудование, не только обеспечит стабильную работу системы, но и поможет сэкономить средства на приобретение и обслуживание серверной инфраструктуры в будущем!

Обратитель к профессионалам в сфере проектирования и внедрения BLADE технологий - ADVANSERV .

Реализованные проекты

ОАО "Ново-Широкинский Рудник"
ОКЕАН БАНК (ЗАО)

Быстрый выбор сервера

CRM-система CRM-система Redmine DHCP Сервер DNS Сервер IP АТС Asterisk VPN Сервер Антивирус ClamAV Антивирус Kaspersky Антивирус для почты AmAVIS Веб сервер Видеорегистратор Видеосервер с IP камерами Видеосервер с аналоговой платой Интернет шлюз MS Forefront / ISA Server Контроллер домена Монитор ресурсов Nagios/Zabbix Почтовый сервер Прокси сервер Сервер 1С Сервер OpenVPN Сервер виртуализации Сервер защиты 1С HASP СУБД MS SQL СУБД MySQL/PostgreSQL Терминальный сервер Терминальный сервер NX/xrdp Файловый сервер Файловый сервер Samba Фильтр спама
Для Windows Для Linux

Вопросы и ответы

Основные преимущества blade-серверов: меньшее место в стойке, большая плотность, более эффективное охлаждение и более экономичное энергопотребление, упрощенное администрирование большого количества серверов. Дополнительно блейд-серверы могут быть экономически более эффективны при необходимости подключения к LAN и SAN на высоких скоростях. Соответственно, если данные проблемы для Вас актуальны, стоит рассмотреть возможность приобретения блейд-серверов.

Почти все СУБД имеют встроенные устройства резервного копирования. Если необходим расширенный функционал, то необходимо использовать стороннее средство резервного

Почти все СУБД имеют встроенные устройства резервного копирования. Если необходим расширенный функционал, то необходимо использовать стороннее средство резервного копирования. Это может быть как бесплатное ПО, так и платное. В зависимости от модели лицензирования ПО Вам необходимо приобрести определенный состав лицензий.

Отказоустойчивость подразумевает способность системы работать при отказе одного или нескольких его компонентов. Соответственно для обеспечения отказоустойчивости

Отказоустойчивость подразумевает способность системы работать при отказе одного или нескольких его компонентов. Соответственно для обеспечения отказоустойчивости системы должны быть задублированы все её компоненты. В каждом конкретном случае этот список будет варьироваться в зависимости от развернутого решения. Так же можно составить список отказов (угроз), от которых необходимо защитить систему, к примеру: поломка БП, выход из строя оперативной памяти, сервера целиком, одной из служб, от которой зависит приложение, ИБП стойки, коммутатора, серверной комнаты целиком.

Кластер — группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс. Кластер служит

Кластер — группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс. Кластер служит для распределения нагрузки, для повышения отказоустойчивости. Для создания кластера необходимо программное обеспечение, поддерживающее данную функцию, два или более серверов, а также в большинстве случаев система хранения данных (СХД). Система Хранения Данных (СХД) - это комплексное программно-аппаратное решение по организации надёжного хранения информационных ресурсов и предоставления гарантированного доступа к ним. Примеры кластерных решений:

Stratus
VMware vSphere
Oracle RAC
MS NLB, Failover cluster
Symantec Veritas Cluster Server

В работе 1С участвуют 3 узла - Клиент/Сервер 1С/Сервер СУБД. Необходимо произвести мониторинг всех узлов, используя стандартное средство мониторинга Windows Server - perfmon. Необходимо отследить показатели: загруженность процессора, свободная оперативная память, количество ошибок чтения страниц, дисковая очередь к каждому диску, скорость чтения/записи на диск, очередь сетевой карты.

Как средство для хранения резервных копий может выступать множество устройств, начиная от USB Flash до ленточных библиотек и дисковых массивов. Спектр решений достаточно

Как средство для хранения резервных копий может выступать множество устройств, начиная от USB Flash до ленточных библиотек и дисковых массивов. Спектр решений достаточно широк, как и спектр требований, поэтому нельзя дать однозначного ответа. В любом случае необходимо определиться с ключевыми показателями: Объем резервных копий, количество хранимых резервных копий, частота их выполнения, окно бэкапа, необходимое время восстановления, необходимая скорость создания копий и восстановления, необходимость репликации или перемещения носителей с резервными копиями. В общем случае, для некрупных компаний (SMB) которым, мы рекомендуем использовать резервное копирование на HDD, либо на NAS, либо на специализированное устройство с дедупликацией, из-за более простого администрирования и меньшего времени восстановления. Если есть специфические требования, то мы готовы индивидуально подобрать решение.

Типичный сервер использует всего 5-10% своих возможностей. Виртуализация позволяет объединить ресурсы процессора, памяти и дисков аппаратных серверов и предоставить

Типичный сервер использует всего 5-10% своих возможностей. Виртуализация позволяет объединить ресурсы процессора, памяти и дисков аппаратных серверов и предоставить общие ресурсы для множества виртуальных серверов (виртуальных машин), эффективно и просто управлять и следить за значительно меньшим количеством аппаратных серверов и в десятки раз быстрее разворачивать на них множество виртуальных. Это сокращает затраты на электроэнергию и охлаждение, уменьшает занимаемое место, кабельную инфраструктуру.

Создание дискового RAID массива на сервере Для создания RAID массива на сервере необходимо, прежде всего, иметь на самом сервере подключенные диски HDD. Материнская плата,

Создание дискового RAID массива на сервере

Для создания RAID массива на сервере необходимо, прежде всего, иметь на самом сервере подключенные диски HDD. Материнская плата, установленная в сервере, должна быть либо с интегрированным RAID-контроллером (встроен в материнскую плату), либо потребуется установить отдельный дискретный РЕЙД-контроллер, который, как правило, устанавливается в специальный разъем PCI-Express.

Сравнение уровней RAID

RAID LEVEL	Кол-во дисков	Преимущества	Недостатки
		наивысшая производительность	очень низкая надёжность
	от 2, чётное	высокая производительность и надёжность
	от 3, нечётное	высокая защищённость данных и неплохая производительность	двойная стоимость дискового пространства
10 или 01	от 4, чётное	наивысшая производительность и высокая надёжность	двойная стоимость дискового пространства
		экономичность, высокая надёжность	производительность ниже RAID 0 и 1
	от 6, чётное	высокая надёжность и производительность	высокая стоимость и сложность обслуживания
		экономичность, высокая надёжность, скорость выше RAID 5
		быстрое реконструирование данных после сбоя, экономичность, высокая надёжность, скорость выше RAID 5	производительность ниже RAID 0 и 1, резервный накопитель работает на холостом ходу и не проверяется
		экономичность, наивысшая надёжность	производительность ниже RAID 5
	от 8, чётное	очень высокая надёжность	высокая стоимость и сложность организации

* N — количество дисков в массиве, S — объём наименьшего диска.
** Информация не потеряется, если выйдут из строя диски в пределах разных зеркал.
*** Информация не потеряется, если выйдет из строя одинаковое кол-во дисков в разных stripe"ах.
**** Информация не потеряется, если выйдут из строя диски в пределах одного зеркала.