ЦОД - что это такое? Центр обработки данных. Центр обработки данных (дата-центр)

В современном понимании дата-центр (data center), или центр обработки данных (ЦОД), - это комплексное организационно-техническое решение, предназначенное для создания высокопроизводительной и отказоустойчивой информационной инфраструктуры. В более узком смысле ЦОД - это помещение, предназначенное для размещения оборудования для обработки и хранения данных и обеспечивающее подключение к быстрым каналам связи. Для того чтобы полнее раскрыть суть понятия ЦОД, начнем с истории его возникновения.

В принципе, вычислительные центры, знакомые многим по ЕС-машинам, которые получили распространение в нашей стране еще 30 лет назад, - это в определенном смысле прародители современных ЦОД. Общей для нынешних ЦОД и старых ВЦ является идея консолидации ресурсов. При этом ВЦ имели достаточно сложные подсистемы обеспечения необходимой для вычислительной техники среды, которая состояла из подсистем охлаждения, электропитания, безопасности и т.п., многие из которых используются и в современных ЦОД.

С распространением ПК в середине 1980-х годов наметилась тенденция к рассредоточению вычислительных средств - настольные компьютеры не требовали особых условий, а следовательно, вопросам обеспечения специальной среды для вычислительной техники уделялось все меньше внимания. Однако с развитием клиент-серверной архитектуры в конце 90-х годов возникла необходимость установки серверов в специальных помещениях - серверных комнатах. Нередко случалось так, что серверы размещали на площади старых ВЦ. Примерно в это время появился термин «дата-центр» (data center), применяемый к специально спроектированным компьютерным помещениям.

Расцвет дата-центров пришелся на период бума дот-комов. Компании, которым требовались быстрый интернет-доступ и непрерывность ведения бизнеса, стали проектировать специальные помещения, обеспечивающие повышенную безопасность обработки и передачи данных, - Интернет-дата-центры (Internet Data Centers). Поскольку все современные дата-центры обеспечивают доступ к Интернету, первое слово в названии было упразднено. Со временем появилось отдельное научное направление, которое занимается вопросами оптимизации строительства и эксплуатации дата-центров.

В начале XXI века многие крупные компании как за рубежом, так и у нас в стране пришли к необходимости внедрения ЦОД - для одних первостепенным стало обеспечение непрерывности бизнеса, для других ЦОД-решения оказались очень эффективными вследствие экономии эксплуатационных затрат. Многие крупные компании пришли к выводу, что централизованная модель вычислений обеспечивает лучший показатель TCO.

За последнее десятилетие многие крупные ИТ-компании обзавелись целой сетью ЦОД. Например, старейший глобальный оператор Cable & Wireless в 2002 году купил американскую компанию Digital Island - владельца 40 ЦОД по всему миру, а европейский оператор Interoute в 2005 году приобрел оператора и хостинг-провайдера PSINet, подключив к своей панъевропейской сети 24 ЦОД.

Практика применения риск-ориентированных подходов к ведению бизнеса стимулирует использование ЦОД. Компании начали понимать, что вложения в организацию бесперебойной работы критичных ИТ-систем обходятся для многих видов бизнеса гораздо дешевле, чем возможный ущерб от потери данных в результате сбоя. Внедрению ЦОД способствует также принятие законов, требующих обязательного резервирования ИТ-систем, появление рекомендаций по применению модели аутсорсинга ИТ-инфраструктуры, необходимость защиты бизнеса от природных и техногенных катастроф.

Отдельные ЦОД стали занимать все бо льшие территории. Например, недавно появилась информация о том, что Google намерена построить крупный ЦОД в штате Айова площадью 22,3 га, потратив на него 600 млн долл., который заработает уже весной 2009 года.

В России строительство ЦОД (в современном понимании этого термина) началось в конце прошлого - начале нового века. Одним из первых крупных российских ЦОД был Центр Сбербанка. Сегодня собственные ЦОД имеют многие коммерческие структуры (прежде всего финансовые организации и крупные операторы связи).

При этом солидные российские Интернет-компании имеют уже по нескольку дата-центров. Например, в сентябре текущего года появилось сообщение о том, что Яндекс открыл новый (уже четвертый по счету) дата-центр на 3 тыс. серверов (занимаемая площадь - 2 тыс. кв.м, подведенная мощность - 2 МВт). Новый комплекс оснащен прецизионными системами охлаждения, позволяющими снимать до 10 кВт со стойки, источниками бесперебойного питания и дизельными генераторами. Дата-центр подключен к московскому оптическому кольцу Яндекса, которое соединяет другие дата-центры и офисы Яндекса, а также к М9 и М10 - традиционным точкам обмена трафиком с провайдерами.

Одновременно с этим российский оператор «Синтерра» объявил о начале одного из самых крупных проектов (не только по российским, но и по европейским меркам) - строительстве национальной сети собственных ЦОД. Проект получил название «40x40». Создав крупные дата-центры в узлах широкополосной сети в большинстве регионов России, оператор намерен превратить их в точки локализации клиентов и продаж всего спектра услуг.

До середины 2009 года в 44 центрах субъектов Федерации будут открываться вновь создаваемые ЦОД. Первыми станут Москва, Санкт-Петербург, Казань, Самара и Челябинск. Оператор планирует, что до конца 2008 года будут введены в эксплуатацию первые 20 площадок, остальные - к середине 2009-го. Интеграторами проекта являются «Крок», «Техносерв А/С» и Integrated Service Group (ISG).

Площадь каждого ЦОД, в зависимости от потребностей региона, будет варьироваться от 500 до 1000 кв.м по фальшполу и вмещать 200-300 технологических стоек. К ЦОД должны быть подключены по два кольца сети общей пропускной способностью каналов 4x10 Гбит/с, что обеспечит клиентам высокий уровень резервирования и доступности сервисов.

Проект «40x40» ориентирован на широкий круг клиентов, имеющих потребность в аутсорсинге ИТ-инфраструктуры в масштабах всей страны, - операторов связи, «сетевых» корпоративных клиентов, разработчиков контента и приложений, операторов IP-TV и телевизионных компаний, а также на госструктуры, отвечающие за реализацию национальных ИКТ-программ.

Собственные ЦОД у нас в стране имеют не только коммерческие, но и государственные структуры, такие как МВД, МЧС и ФНС.

По данным IDC, количество дата-центров в США достигнет к 2009 году 7 тыс. - по мере перевода компаниями распределенных вычислительных систем на централизованные.

Наряду со строительством новых дата-центров на повестке дня стоит проблема модернизации старых. По данным Gartner, к 2009 году 70% оборудования ЦОД перестанет отвечать эксплуатационным требованиям и требованиям к производительности, если не будет проведена соответствующая модернизация. Средний срок обновления компьютерного оборудования в ЦОД - примерно три года. Инфраструктура ЦОД проектируется с учетом срока эксплуатации порядка 15 лет.

Назначениеи структура ЦОД

В зависимости от назначения современные ЦОД можно разделить на корпоративные, которые работают в рамках конкретной компании, и ЦОД, предоставляющие сервисы сторонним пользователям.

Например, банк может иметь дата-центр, где хранится информация по транзакциям его пользователей, - обычно он не оказывает услуг сторонним пользователям. Даже если ЦОД не предоставляет подобных услуг, он может быть выделен в отдельную организационную структуру компании и оказывать ей услуги по доступу к информационным сервисам на базе SLA. Многие крупные компании имеют ЦОД того или иного вида, а международные компании могут иметь десятки ЦОД.

ЦОД может также использоваться для предоставления услуг профессионального ИТ-аутсорсинга ИТ-решений на коммерческих условиях.

Все системы ЦОД состоят из собственно ИТ-инфраструктуры и инженерной инфраструктуры, которая отвечает за поддержание оптимальных условий для функционирования системы.

ИТ-инфраструктура

Современный центр обработки данных (ЦОД) включает серверный комплекс, систему хранения данных, систему эксплуатации и систему информационной безопасности, которые интегрированы между собой и объединены высокопроизводительной ЛВС (рис. 1).

Рис. 1. ИТ-инфраструктура современного ЦОД

Рассмотрим организацию серверного комплекса и системы хранения данных.

Серверный комплекс ЦОД

Наиболее перспективной моделью серверного комплекса является модель с многоуровневой архитектурой, в которой выделяется несколько групп серверов (см. рис. 1):

ресурсные серверы, или серверы информационных ресурсов, отвечают за сохранение и предоставление данных серверам приложений; например, файл-серверы;
серверы приложений выполняют обработку данных в соответствии с бизнес-логикой системы; например, серверы, выполняющие модули SAP R/3;
серверы представления информации осуществляют интерфейс между пользователями и серверами приложений; например, web-серверы;
служебные серверы обеспечивают работу других подсистем ЦОД; например, серверы управления системой резервного копирования.

К серверам разных групп предъявляются различные требования в зависимости от условий их эксплуатации. В частности, для серверов представления информации характерен большой поток коротких запросов от пользователей, поэтому они должны хорошо горизонтально масштабироваться (увеличение количества серверов) для обеспечения распределения нагрузки.

Для серверов приложений требование по горизонтальной масштабируемости остается, но оно не является критичным. Для них обязательна достаточная вертикальная масштабируемость (возможность наращивания количества процессоров, объемов оперативной памяти и каналов ввода-вывода) для обработки мультиплексированных запросов от пользователей и выполнения бизнес-логики решаемых задач.

Системы хранения данных

Наиболее перспективным решением организации системы хранения данных (СХД) является технология SAN (Storage Area Network), обеспечивающая отказоустойчивый доступ серверов к ресурсам хранения и позволяющая сократить совокупную стоимость владения ИТ-инфраструктурой за счет возможности оптимального онлайнового управления доступа серверов к ресурсам хранения.

СХД состоит из устройств хранения информации, серверов, системы управления и коммуникационной инфраструктуры, обеспечивающей физическую связь между элементами сети хранения данных (рис. 2).

Рис. 2. Система хранения данных на базе технологии SAN

Подобная архитектура позволяет обеспечить бесперебойное и безопасное хранение данных и обмен данными между элементами сети хранения данных.

В основе концепции SAN лежит возможность соединения любого из серверов с любым устройством хранения данных, работающим по протоколу Fibre Channel (FC). Техническую основу сети хранения данных составляют волоконно-оптические соединения, FC-HBA и FC-коммутаторы, в настоящее время обеспечивающие скорость передачи 200 Мбайт/с.

Применение SAN в качестве транспортной основы системы хранения данных дает возможность динамической реконфигурации (добавление новых устройств, изменение конфигураций имеющихся и их обслуживание) без остановки системы, а также обеспечивает быструю перегруппировку устройств в соответствии с изменившимися требованиями и рациональное использование производственных площадей.

Высокая скорость передачи данных по SAN (200 Мбайт/с) позволяет в реальном времени реплицировать изменяющиеся данные в резервный центр или в удаленное хранилище. Удобные средства администрирования SAN дают возможность сократить численность обслуживающего персонала, что снижает стоимость содержания подсистемы хранения данных.

Адаптивная инженерная инфраструктура ЦОД

Помимо собственно аппаратно-программного комплекса, ЦОД должен обеспечивать внешние условия для его функционирования. Размещенное в ЦОД оборудование должно работать в круглосуточном режиме при определенных параметрах окружающей среды, для поддержания которых требуется целый ряд надежных систем обеспечения.

Современный ЦОД насчитывает более десятка различных подсистем, включая основное и резервное питание, слаботочную, силовую и другие виды проводки, системы климатического контроля, обеспечения пожарной безопасности, физической безопасности и пр.

Довольно сложным является обеспечение оптимального климатического режима оборудования. Необходимо отводить большое количество тепла, выделяемого компьютерным оборудованием, причем его объем нарастает по мере увеличения мощности систем и плотности их компоновки. Все это требует оптимизации воздушных потоков, а также применения охлаждающего оборудования. По данным IDC, уже в текущем году расходы на снабжение центров обработки данных электроэнергией и обеспечение охлаждения превысят расходы на собственно компьютерное оборудование.

Перечисленные системы взаимосвязаны, поэтому оптимальное решение может быть найдено только если при его построении будут рассматриваться не отдельные компоненты, а инфраструктура в целом.

Проектирование, строительство и эксплуатация ЦОД - весьма сложный и трудоемкий процесс. Существует множество компаний, предлагающих необходимое оборудование - как компьютерное, так и вспомогательное, но для построения индивидуального решения без помощи интеграторов здесь не обойтись. Созданием дата-центров в России занимается целый ряд крупных отечественных системных интеграторов, таких как IBS Croc OpenTechnologies, а также специализированные компании: DataDome, IntelinePro и др.

ЦОД и ИТ-аутсорсинг

По данным IDC, мировой рынок только хостинговых услуг в ЦОД растет очень быстро и к 2009 году составит 22-23 млрд долл.

Наиболее комплексная услуга ИТ-аутсорсинга - это аутсорсинг информационных систем. Он предоставляется по долговременному соглашению, по которому поставщик услуг получает в полное управление всю ИТ-инфраструктуру клиента или ее значительную часть, в том числе оборудование и установленное на нем программное обеспечение. Это проекты с широким вовлечением исполнителя, которые предполагают ответственность за системы, сеть и отдельные приложения, входящие в ИТ-инфраструктуру. Обычно аутсорсинг ИТ-инфраструктуры оформляется долгосрочными контрактами, которые длятся более года.

Для создания собственной ИТ-инфраструктуры с нуля компаниям необходимы большие средства и высокооплачиваемые специалисты. Аренда инфраструктуры дата-центра позволяет снизить TCO за счет разделения ресурсов между клиентами, обеспечивает доступ к новейшим технологиям, дает возможность быстрого развертывания офисов с возможностями наращивания ресурсов. Для многих компаний надежность бесперебойного функционирования оборудования и сетевой инфраструктуры становится сегодня критичным фактором для функционирования бизнеса. Аутсорсинг ИТ-инфраструктуры позволяет обеспечить высокий уровень надежности данных при ограниченной стоимости, предоставляя клиентам возможность аренды серверных стоек и мест в стойке для размещения оборудования заказчика (co-location), аренды выделенного сервера (dedicated server), лицензионного ПО, каналов передачи данных, а также получения технической поддержки.

Заказчик освобождается от множества процедур: технической поддержки и администрирования оборудования, организации круглосуточной охраны помещений, мониторинга сетевых соединений, резервного копирования данных, антивирусного сканирования ПО и т.д.

ЦОД также может оказывать услугу аутсорсингового управления приложениями. Это позволяет заказчикам использовать сертифицированных специалистов, что гарантирует высокий уровень обслуживания программных продуктов и обеспечивает легкий переход с одного ПО на другое при минимальных финансовых затратах.

В режиме аутсорсинга приложений клиенты ЦОД могут получить аутсорсинг почтовых систем, интернет-ресурсов, систем хранения данных или баз данных.

Передавая свои корпоративные системы на аутсорсинг для резервирования, заказчики снижают риск потери критичной информации за счет использования профессиональных систем возобновления работоспособности ИТ-систем, а в случае аварии получают возможность страхования информационных рисков.

Обычно клиентам ЦОД предлагается несколько уровней обеспечения непрерывности бизнеса. В простейшем случае это размещение резервных систем в дата-центре с обеспечением должной защиты. Кроме того, может быть вариант, при котором клиенту также предоставляется аренда программно-аппаратных комплексов для резервирования. Наиболее полный вариант услуги предполагает разработку полномасштабного плана восстановления систем в случае аварии (Disaster Recovery Plan, DRP), который подразумевает аудит информационных систем заказчика, анализ рисков, разработку плана восстановления после аварии, создание и обслуживание резервной копии системы, а также предоставление оборудованного офисного помещения для продолжения работы в случае аварии в основном офисе.

Примеры коммерческих дата-центров

Дата-центры Stack Data Network

Сеть Stack Data Network объединяет три дата-центра, построенных с учетом зарубежного опыта.

Два из них (дата-центр Stack и дата-центр M1) общей емкостью 700 стоек расположены в Москве, а третий (дата-центр PSN) емкостью 100 стоек - в 100 км от столицы.

Существуют партнерские договоренности с рядом европейских дата-центров о возможности использования их ресурсов через Stack Data Network.

Дата-центры Stack Data Network предоставляют услугу обеспечения непрерывности бизнеса - disaster recovery, а также качественный хостинг: услугу collocation - размещение серверов (рис. 3) и услугу dedicated server - выделенный сервер (рис. 4).

Рис. 3. ЦОД Stack: размещение серверов
(server collocation)

Рис. 4. ЦОД Stack: аренда выделенного сервера

Дата-центры обладают системами автономного электропитания с источниками бесперебойного питания и мощными дизель-генераторными установками (рис. 5), системами климат-контроля и кондиционирования (рис. 6), системами круглосуточного мониторинга состояния инфраструктурных элементов и системами газового пожаротушения. Для обеспечения надежности систем жизнеобеспечения все системы зарезервированы по схеме N+1. Особый режим безопасности достигается за счет нескольких периметров доступа с использованием индивидуальных пластиковых магнитных карт, биометрической системы контроля доступа, системы видеонаблюдения и датчиков движения.

Рис. 5. ЦОД Stack: дизель-генератор

Рис. 6. ЦОД Stack: кондиционер Liebert

В сети дата-центров Stack Data Network организована круглосуточная служба эксплуатации (дежурные операторы и специалисты), в том числе по системам жизнеобеспечения. Функционируют системы круглосуточного мониторинга систем жизнеобеспечения, телекоммуникационного и серверного оборудования, сети и состояния каналов связи. Дата-центры соединены с основными телекоммуникационными узлами Москвы и объединены между собой собственными резервированными волоконно-оптическими линиями связи.

Sun Microsystems предлагает новую концепцию «ЦОД в коробке»

Процесс создания традиционных ЦОД весьма затратный и длительный. Для его ускорения компания Sun Microsystems предложила решение, получившее название Blackbox («Черный ящик»).

Система Blackbox монтируется в грузовой контейнер стандартной длины, в который можно упаковать до 120 серверов SunFire T2000 или до 250 серверов SunFire T1000 (в сумме - 2 тыс. ядер) либо до 250 серверов SunFire x64 (тысяча ядер), а также системы хранения, емкость которых может доходить до 1,5 Пбайт на жестких дисках и до 2 Пбайт на лентах. К контейнеру можно подключить до 30 тыс. терминалов Sun Ray.

Система работает под управлением Solaris 10.

Оборудование размещено в контейнере очень плотно, для циркуляции воздуха просто нет места. В связи с этим воздушное охлаждение крайне неэффективно, поэтому применяется водяное охлаждение.

По данным SUN, размещение оборудования внутри грузового контейнера позволяет снизить удельную стоимость вычислительной мощности на единицу площади в пять раз по сравнению с обычным центром обработки данных.

Решение Blackbox, как минимум, на порядок дешевле по сравнению с традиционной организацией ЦОД, при этом оно обеспечивает многократное ускорение процесса инсталляции.

Следует отметить, что такой центр может быть реализован далеко не везде, поскольку не в каждое здание можно внести подобный контейнер. Продажа решения бала начата в этом году.

Дата-центр IBS DataFort

В 2001 году IBS и Cable & Wireless объявили о начале предоставления российским и зарубежным компаниям комплексных услуг по схеме ASP в рамках совместного проекта DATA FORT на базе дата-центра. Чуть позже DATA FORT зажил самостоятельно, а в 2003-м IBS объявила о запуске собственного ДЦ, который принадлежит дочерней компании IBS - IBS DataFort. ЦОД IBS DataFort ориентирован на обслуживание клиентов с критичными требованиями к конфиденциальности и защите данных, обеспечивает высокую степень доступности данных, современные аппаратно-программные средства, надежное энергоснабжение, скоростные каналы передачи данных и высокий уровень технической поддержки. Периметр имеет усиленную охрану (рис. 7).

Рис. 7. Охраняемая территория ЦОД IBS DataFort

Внутри здания находятся технический модуль площадью более 130 кв.м, двухэтажный резервный офис площадью около 150 кв.м, а также операторский пост. Для предотвращения рисков заливов и пожаров технический модуль дата-центра построен из стальных сандвич-панелей и поднят на полметра над уровнем пола (рис. 8).

Рис. 8. Технический модуль дата-центра IBS DataFort

Технический модуль представляет собой пожаробезопасную, сейсмоустойчивую конструкцию, оборудованную высокопрочным фальшполом, системами гидроизоляции и заземления. Модуль рассчитан на 1500 Rack-серверов, размещаемых в 19-дюймовых промышленных стойках АРС.

В дата-центре установлен автоматический комплекс газового пожаротушения, состоящий из оборудования Fire Eater, «Шрак» и ГОС «Инерген», световой и звуковой сигнализации (предупреждающей о пуске газа и требующей покинуть помещения дата-центра), а также эффективной системы дымоудаления (рис. 9).

Рис. 9. Системы пожаротушения дата-центра
IBS DataFort

Система климатического контроля (рис. 10) состоит из промышленных кондиционеров с автоматическим поддержанием заданной температуры в районе 22±0,5 °C и влажности на уровне 50±5 %, включенных по схеме N+1 (при выходе из строя одного из кондиционеров расчетные параметры всей системы не нарушаются). Приток свежего воздуха с улицы осуществляется с помощью специальной установки, препятствующей проникновению пыли внутрь дата-центра.

Рис. 10. Система климатического контроля
дата-центра IBS DataFort

IBS DataFort специализируется на услугах комплексного аутсорсинга ИТ, принимая на себя все функции ИТ-подразделений заказчика, и предлагает следующие виды услуг:

аутсорсинг ИТ-инфраструктуры - размещение оборудования заказчика или предоставление в аренду инфраструктуры дата-центра, обеспечение работоспособности корпоративных информационных систем;
управление приложениями - квалифицированное администрирование и управление различными приложениями;
аутсорсинг ИТ-персонала - предоставление квалифицированных специалистов для решения различных ИТ-задач;
обеспечение непрерывности бизнеса - организация отказоустойчивых решений для восстановления информационных систем после аварий и сбоев;
ИТ-консалтинг и аудит - услуги аудита и инвентаризации в области ИТ, а также построение промышленных технологий эксплуатации ИТ-систем;
функциональный аутсорсинг - управление отдельными ИТ-функциями по оговоренным стандартам и утвержденному уровню сервиса.

Тема центров обработки данных в последние несколько лет стала одной из наиболее модных в ИТ. Для крупной компании не иметь собственного или не использовать мощности коммерческого ЦОД даже как-то неприлично. А насколько эта тема актуальна для средних предп

В последние два-три года при проведении различного рода аудитов неоднократно задавался вопрос: «Использует ли ваше предприятие ЦОД?». Для начала определимся с терминологией. Под центром обработки данных мы будем понимать отдельное здание, оборудованное соответствующими инженерными системами (кондиционирования, пожаротушения, бесперебойного электропитания и пр.), в котором размещаются вычислительные ресурсы (серверы, системы хранения и т. д.), созданы телекоммуникационная инфраструктура, обеспечивающая удаленный доступ к ресурсам центра, системы физической и информационной безопасности, контроля доступа, диспетчеризации и мониторинга и т. п. Такой ЦОД достаточно универсален, на его площадях можно устанавливать широкий спектр оборудования, образующего системы для решения самых разных задач.

Сегодня существует три основных подхода к размещению систем хранения и обработки данных:

можно оборудовать и эксплуатировать аппаратную комнату (или комнаты) в своих офисах;
построить и эксплуатировать свой собственный ЦОД;
арендовать необходимые ресурсы в центре у специализированного провайдера.

С одной стороны, на определенном этапе развития систем предприятия обеспечивать поддержку требуемых объемов и качества ИТ-услуг, базируясь на размещаемых в офисных зданиях аппаратных комнатах, становится невыгодно по разным причинам: дорого, сложно, ненадежно… Список можно продолжить. С другой стороны, строительство центра обработки данных - сложный проект, бюджет которого обычно измеряется миллионами долларов, а стоимость эксплуатации составляет несколько сотен тысяч долларов в год.

Как же определить, какие из подходов, в какой комбинации и для каких задач использовать? Здесь мы должны четко понимать, что выбор нужно делать исходя из требований заказчиков к ИТ-услуге, предоставляемой на базе определенной информационной системы.

Типовая архитектура ИТ-услуги

На рисунке приведена типовая архитектура ИТ-услуги (или ИТ-сервиса). Что из ее компонентов может быть размещено в ЦОД? В первую очередь - оборудование систем хранения, обработки и передачи данных, образующее платформу информационной системы, а также некоторая часть корпоративной сети передачи данных, входящая в среду доступа.

Большинство компаний имеет территориально распределенные объекты и иерархическую организационную структуру. Исходя из этого все ИТ-уcлуги можно разделить на корпоративные (то есть используемые несколькими территориально-организационными единицами) и локальные (используемые только одной территориально-организационной единицей). Первоочередными кандидатами на размещение в ЦОД будут те системы, на основе которых строятся корпоративные ИТ-услуги.

Аппаратные комнаты в офисе

От аппаратных комнат в офисном здании полностью избавиться невозможно. Их объем может быть минимизирован, они могут быть совмещены с помещениями другого назначения, расходы на их создание и содержание тоже можно сократить (за счет снижения эксплуатационных характеристик). Но аппаратные комнаты в офисе будут всегда. Почему?

В любом офисе существует неотъемлемый от здания участок среды доступа. Его составляет оборудование структурированной (еще говорят - слаботочной) кабельной системы, локальной вычислительной сети и телефонной сети. Даже если вы используете беспроводные технологии в сочетании с IP-телефонией, все равно будет коммуникационное оборудование, терминирующее внутриофисную кабельную систему, сетевое оборудование, коммуникационный сервер и т. п. В любой офис приходят внешние коммуникации - входящие в здание извне физические кабели, заканчивающиеся на каком-то коммутационном оборудовании, и телекоммуникационное оборудование, которое передает информацию через эти кабели.

Кроме того, существует ряд привязанных к офису систем, на базе которых строятся локальные ИТ-услуги.

Многие системы постоянно генерируют большой объем трафика. В каждом офисе есть разделяемые файловые ресурсы (файловые серверы) и сетевые принтеры. Немного реже встречаются системы резервного копирования данных на рабочих станциях, системы автоматической установки обновлений программного обеспечения, системы обработки и хранения изображений (документооборот и т. п.). Иногда

имеются системы хранения и обработки аудио- и видеоинформации. Перенос таких систем в ЦОД создаст огромную нагрузку на телекоммуникации между ЦОД и рабочими местами в офисе. Ряд систем просто не сможет нормально работать на ограниченных по емкости телекоммуникационных каналах (например, время полного восстановления для систем резервного копирования может возрасти до нескольких десятков часов). А в случае нарушения связи с ЦОД перестанут работать все ИТ-услуги, включая даже элементарную печать на сетевой принтер.

Практически во всех локально-вычислительных сетях имеются централизованные системы, обеспечивающие авторизацию и аутентификацию пользователей. Если перенести такие системы в ЦОД, то при нарушении связи все ИТ-услуги в офисе могут оказаться недоступными. Разного рода системы безопасности всегда размещают в аппаратных комнатах в офисе. Для некоторых систем, согласно законодательству РФ или внутренним корпоративным стандартам, устанавливаются очень жесткие требования по безопасности, включая требования по обязательной сертификации, и перенос этих систем в ЦОД скорее всего приведет к нарушению требований. Сейчас становится все меньше систем, требующих регулярного физического и технического обслуживания, визуального контроля, смены носителей и расходных материалов и т. п., но все же переносить их в ЦОД тоже нецелесообразно.

Аргументы «за»

Какие проблемы и какие положительные эффекты мы получим при размещении систем в ЦОД?

Оценивая, какова будет экономия средств, нужно просчитывать различные варианты с учетом прогнозов развития на три – пять лет. Аргумента, что аренда площади в 200 м 2 в промышленной зоне обойдется дешевле, чем в офисном здании в центре города, недостаточно. Надо учитывать множество аспектов, приводящих к прямым и косвенным затратам.

Бизнес средних предприятий весьма мобилен, и если есть возможность сэкономить на аренде офиса, то компания переезжает. Использование ЦОД избавит от значительной части проблем при открытии, закрытии и переносе офисов.

Отказо- и катастрофоустойчивые системы подразумевают размещение компонентов и резервирование данных как минимум на двух независимых территориально разнесенных площадках. Специализированные ЦОД - идеальный вариант решения проблемы. Но надо помнить, что архитектура системы и телекоммуникации должны поддерживать такой режим работы.

У средних предприятий обычно нет средств для обеспечения непрерывности бизнеса. Их «запас прочности», как правило, невелик, и одного прерывания может оказаться достаточно для полного краха. Поэтому грамотно продуманная архитектура ИТ-систем, включающая вынос критичных для бизнеса систем в ЦОД в сочетании с их построением на основе отказо- и катастрофоустойчивой архитектуры, может существенно повысить устойчивость бизнеса к катастрофам.

В качестве еще одного довода в пользу ЦОД обычно приводят повышение качества ИТ-услуг, но это далеко не всегда так. «Узким местом» становятся (или остаются) телекоммуникации. Время устранения сбоев может как уменьшиться, так и возрасти. Надежность же должна возрасти, по крайней мере теоретически.

Большинство средних предприятий стремится расширять и развивать свой бизнес, не имея при этом возможности долго ждать, пока вложения окупятся. Поэтому сроки реализации ИТ-проектов должны быть максимально сжатыми, а важность вопросов внедрения информационных систем и их последующего масштабирования - повышаться. Аренда ЦОД - хороший способ сократить сроки реализации проекта. Возможность масштабирования зависит от правильности прогноза развития систем автоматизации в компании, корректности его использования при проектировании центра и вдумчивого управления построенными мощностями. В случае же аутсорсинга под новые задачи можно арендовать мощности в любом коммерческом ЦОД.

Подводные камни

Как правило, ЦОД строят в удалении от центров городской инфраструктуры: дешевле обходится земля, можно найти и переоборудовать подходящее здание, проще решить вопрос с энергоснабжением и т. п. Но при этом возникает другая проблема: коммерческие провайдеры связи не всегда охотно инвестируют средства в прокладку оптики и установку оборудования для подключения центров к своим магистральным сетям. А иногда и владелец ЦОД сознательно ограничивает присутствие сторонних провайдеров. В результате клиенту коммерческого ЦОД надо быть готовым к разного рода неожиданностям. Дополнительные расходы на аренду «последних миль», ограничения по пропускной способности, отсутствие резервирования, дополнительные задержки и точки отказа на оборудовании оператора «последней мили» - вот неполный список потенциальных проблем.

При строительстве же собственного центра вам предстоит определиться, вкладывать ли средства в создание своих собственных «последних миль» до телекоммуникационных узлов или же договориться с коммерческими операторами и арендовать «последние мили» у них (в этом случае вам, скорее всего, придется за три-пять лет оплатить все их вложения).

Безусловно, потребуется обеспечить защиту трафика между офисами. Если система защиты трафика в корпоративной сети построена, то появление ЦОД не создаст особых проблем, хотя в некоторых ситуациях может потребоваться серьезная или даже полная перестройка систем защиты.

Качество работы систем в ЦОД сильно зависит от качества монтажа оборудования. Поэтому большинство провайдеров настаивают на выполнении таких работ силами своего персонала. Обычно некоторый объем работ входит в абонентскую плату, а превышенный объем оплачивается отдельно.

Любая аппаратная комната или ЦОД требуют регулярного технического обслуживания, а раз в три – пять лет - и серьезной модернизации. Появляются новые технологии и стандарты, растет энергопотребление и тепловыделение оборудования, изменяются его габариты, меняются требования к объемам, составу и качеству ИТ-услуг в компании. Поэтому необходимо заранее определиться, будете ли вы решать проблемы по мере их возникновения (со всеми вытекающими рисками), заранее заложите избыточность в свой ЦОД (что потребует обоснования дополнительных инвестиций) или переложите эти проблемы на аутсорсера (хотя так или иначе их решение придется оплатить).

После размещения систем в коммерческом ЦОД возникает серьезная зависимость от провайдера. Смена провайдера - долгая, сложная и дорогая операция, а сбой в системах обеспечения может привести к катастрофическим последствиям. При этом надо четко понимать, что возложить на провайдера всю полноту ответственности невозможно. Можно предусмотреть ответственность за сохранность оборудования, его мониторинг, соблюдение процедур и т. п., но всего не предугадаешь, и всегда будет сохраняться проблема контроля. При размещении систем в арендованном ЦОД потребуется существенно нарастить (или создать) систему удаленного управления оборудованием.

Обеспечение безопасности - больная проблема для арендуемого ЦОД, которую каждый решает по своему: ставят перегородки, запирают монтажные шкафы и устанавливают на них датчики открытия, используют дополнительные системы видеонаблюдения и т. п.

Нужно быть готовым и к тому, что при размещении систем в арендованном центре менеджмент компании потребует застраховать соответствующие активы. Эти расходы надо обязательно учитывать.

Еще одна проблема, которая может встать у вас на пути в прямом смысле слова, - автомобильные пробки. Несложно представить ситуацию, особенно в крупных городах, когда в арендованном ЦОД в 17:00 вышло из строя оборудование, и срочно нужно его ремонтировать. ЦОД, как мы уже выяснили, размещаются далеко от центра города, и специалист по ремонту, нагруженный запасными модулями, несколько часов пробирается по автомобильным пробкам…

Строить или арендовать?

Выделять средства на аренду или строительство ЦОД среднего предприятия скорее всего будет владелец бизнеса, и наиболее убедительным аргументом в пользу того или иного решения будет сравнительный анализ расходов на строительство и аренду, выполненный на основании двух-трех вариантов прогноза потребности компании в ИТ-мощностях сроком на три-пять лет.

Создание специализированной инсорсинговой ИТ-компании и строительство ЦОД позволяют централизовать основные ИТ-мощности и решить множество иных проблем, особенно если компания имеет холдинговую структуру. Появляется возможность управлять мощностями, заранее резервируя их для конкретной задачи или своевременно прогнозируя их отсутствие. При аутсорсинге придется или платить за резервирование (что несколько дешевле, чем арендная плата), или же отказаться от гарантированного выделения требуемых мощностей. Безусловно, собственный ЦОД практически всегда предпочтительнее с точки зрения информационной безопасности.

Использование арендованного ЦОД (а еще лучше - услуг хостинга приложений) поможет минимизировать риски, связанные с развитием бизнеса, опытным внедрением систем и пилотными проектами. В случае неудачи можно просто отказаться от аренды. Аренда - хороший способ в сжатые сроки и без долгосрочных инвестиций решить проблему наращивания мощностей при создании новых систем и расширении существующих, а также снизить стоимость основных средств.

Для обслуживания собственного центра понадобится самый разный персонал общей численностью в несколько десятков человек. Поскольку штат средних компаний обычно ограничен, потребуется привлекать специализированную компанию. А при аренде ЦОД эти проблемы будет решать провайдер.

Кроме того, надо помнить, что доступ персонала в арендованный центр будет ограничен и должен осуществляться по определенному графику. Это надо учитывать при планировании отпусков, оперативных заменах, постоянных и временных перемещениях и т. п.

Арендованный ЦОД может оказаться полезен в кризисных ситуациях, возникающих в бизнесе, например при хорошо организованной попытке рейдерского захвата. Если ваши системы обработки и хранения данных размещены у провайдера, то заинтересованным сторонам потребуется сначала получить соответствующую информацию, необходимые санкции и только после этого произвести изъятие ваших систем. Таким образом, у вас появится время на подготовку.

Давно построенные центры обработки данных (ЦОД) перестают соответствовать требованиям организаций, владеющих ими. Это главный вывод, который следует из результатов нашего опроса. Примерно половина респондентов заявили, что обязательно или предположительно будут модернизировать системы электропитания и охлаждения оборудования своих ЦОДов в ближайшие 12 месяцев. Перед большинством организаций стоит головоломная задача - как проводить необходимую модернизацию? С одной стороны, инфраструктура старого ЦОДа уже не годится для нормальной работы современных серверов, систем хранения данных и сетевого оборудования, которые потребляют все больше электроэнергии в расчете на единицу площади ЦОДа, а с другой - строительство нового ЦОДа может оказаться очень уж дорогостоящим делом.

У большинства организаций просто нет выбора. Дело в том, что им приходится сохранять и обрабатывать (новыми и более сложными способами) постоянно растущие объемы данных, и нет никаких признаков ослабления этой тенденции. И какими бы полезными ни были консолидация серверов и повышение эффективности управления хранением данных, рано или поздно вам все равно придется реконструировать свой старый ЦОД или строить новый.

Наибольшую озабоченность у ИТ-специалистов продолжают вызывать проблемы с электропитанием и охлаждением оборудования ЦОДа. Но в ответах на наш вопрос, испытывают ли организации дефицит свободного места в своем ЦОДе, были выявлены два интересных факта. Первый - почти половина опрошенных сказали, что в их ЦОДе вполне достаточно места для дальнейшего развития его ИТ-инфраструктуры. Такого ответа можно было ожидать, ведь рабочие характеристики серверов и систем хранения данных непрерывно улучшаются при сохранении или уменьшении их габаритных размеров. В результате для повышения эффективности работы ЦОДа отнюдь не всегда нужна дополнительная площадь. Второй факт показался нам довольно неожиданным: почти четверть респондентов заявили, что для организации своих ЦОДов они используют обычные, не предназначенные для этого помещения.

Мы не стали глубоко вникать, что является причиной этого, но можно предположить, что ответившие так респонденты работают в небольших компаниях или в удаленных филиалах крупных организаций. В любом случае решения типа «ЦОД в коробке» - системы размером с холодильник, снабженные необходимыми для эксплуатации примерно 30 серверов (или других сетевых устройств) высотой 1U средствами охлаждения и источниками бесперебойного питания (ИБП), должны пользоваться большим спросом.

Результаты опроса указывают на движущие силы консолидации ЦОДов. Чтобы решить ряд проблем, включая обеспечение соответствия законодательным требованиям по информационной безопасности и повышение надежности хранения данных, нужно совершенствовать системное управление, а для этого желательно переместить серверы подразделений компании и ее удаленных филиалов в ЦОД.

Что же на самом деле лучше?

Очевидно, что предприятиям нужны улучшенные ЦОДы. Но что же значит «улучшенные»? Должны ли, например, серверы быть специализированными или как можно более универсальными? Следует ли покупать блейд-системы или это всего лишь еще один способ «привязать» заказчика к конкретному производителю? Поможет ли питание оборудования постоянным током (DC) сократить расходы на электроэнергию или от такого типа питания будет больше проблем, чем пользы? Нужны ли фальшполы, или они уже устарели? Число вопросов кажется бесконечным, но совершенно ясно, что строить объекты (для организации ЦОДов) того же типа, какие строились всего лет пять назад, - провальная затея. Возможно, самой большой проблемой для организаций, планирующих строительство ЦОДа, является высокая стоимость последнего.

Раньше большинство систем электропитания для оборудования ЦОДов рассчитывались на удельную мощность 50 Вт/кв. фут (1 кв. фут = 0,0929 кв. м), но сейчас многие аналитики рекомендуют иметь систему удельной мощностью 500 Вт/кв. фут. Десятикратное увеличение удельной мощности систем электропитания (включая ИБП и электрогенераторы), а также необходимость иметь соответствующие системы охлаждения, делают затраты на реализацию этих систем самой большой статьей расходов при создании ЦОДов. Если вы хотите построить ЦОД уровня IV с надежностью работы «пять девяток» (в соответствии с определением организации Uptime Institute), то расходы на приобретение и монтаж его систем электропитания и охлаждения могут аж в 50 раз превысить затраты на строительство собственно здания ЦОДа (165 млн долл. против 3,3 млн в случае строительства ЦОДа площадью 15 тыс кв. футов). А ежегодная плата за электроэнергию при использовании ЦОДа вышеуказанной площади, как говорится «на полную катушку», составляет 13 млн долл. (в Калифорнии), что почти в пять раз превышает стоимость строительства его здания.

Учитывая столь значительные расходы на реализацию инженерной инфраструктуры ЦОДа и затраты на оплату электроэнергии, имеет смысл критически оценить все детали конструктивного решения его помещения. Одним из спорных моментов при проектировании ЦОДов является наличие фальшпола, поскольку последний становится бесполезным при высокоплотном размещении оборудования в монтажных стойках. Всего шесть лет назад среднее энергопотребление стойки с оборудованием было около 3 кВт. Сегодня этот показатель составляет почти 7 кВт, а при заполнении стойки блейд-серверами ее энергопотребление может возрасти до 30 кВт и больше. Ни одна из существующих систем охлаждения через фальшпол не рассчитана на такую концентрацию тепловой нагрузки. Но не только проблемы с охлаждением заставляют усомниться в необходимости фальшпола.

С увеличением энергопотребления стоек с оборудованием растет и их масса. Полностью заполненная аппаратурой стойка может весить от четверти тонны до одной тонны и даже больше. Чтобы фальшпол выдерживал столь тяжелые стойки, его нужно укреплять дополнительными подпорками. Вместо того чтобы полагаться на систему охлаждения через фальшпол, стоит рассмотреть варианты использования средств охлаждения, работающих на уровне стойки или ряда стоек, в качестве дополнения к этой системе или ее полной замены. Данные средства хороши тем, что они модульные и подают хладагент именно туда, куда нужно, это и делает их более эффективными.

DC или AC?

Проанализировав лучшие подходы к построению ЦОДов, вы несомненно получите большую пользу. Но один подход мы не советовали бы вам брать на вооружение - это использование систем электропитания DC вместо систем электропитания переменного тока (AC), которые в настоящее время преобладают в ЦОДах.

Системы электропитания DC нужны организациям, сетевая инфраструктура которых должна соответствовать требованиям NEBS (Network-Equipment Building System). Как правило, это телекоммуникационные операторы, использующие такие системы уже много лет главным образом по причине их высокой надежности и простоты подключения альтернативных источников питания (батарей и генераторов).

Предприятия других отраслей тоже проявляют интерес к DC-электропитанию, поэтому любой крупный производитель серверов выпускает по меньшей мере несколько моделей, питаемых от DC-систем. Одним из производителей, специализирующихся на выпуске таких серверов, является компания Rackable Systems.

Существует ряд факторов, препятствующих использованию DC-электропитания в ЦОДах. Во-первых, выбор ИТ-продуктов с таким типом электропитания сравнительно невелик. Во-вторых, построение DC-системы электропитания в масштабе ЦОДа требует специальных знаний и навыков - достаточно не затянуть хотя бы один болт на шине DC и она может расплавиться. В-третьих, вам придется разместить инверторы вне помещения ЦОДа, чтобы выделяемое ими тепло не мешало охлаждать установленное там оборудование.

В-четвертых, DC-системы электропитания обычно стоят дороже AC-систем (впрочем, имея более высокий КПД, DC-системы потребляют меньше электроэнергии, и вы можете сэкономить на снижении совокупной стоимости владения ими).

И наконец, в-пятых, если серверы, коммутаторы, маршрутизаторы и системы хранения данных с DC-электропитанием на рынке имеются, то DC-кондиционеров для ЦОДов не существует. Это означает, что вам придется реализовывать в ЦОДе две системы электропитания - DC и AC, но очевидно, что гораздо лучше иметь дело с системой только одного типа. По указанным выше причинам DC-электропитание в ЦОДах, ориентированных на разнообразные ИТ-приложения, не стало популярным.

Компания «Строй-ТК» проведет проектирование и монтаж ЦОД для Вашего бизнеса.

Ознакомиться с нашими услугами по проектированию, строительству, эксплуатации ЦОД Вы можете .

Центр обработки данных (ЦОД) – единая многокомпонентная система, которая призвана обеспечивать бесперебойную автоматизированную работу бизнес-процессов . Центры обработки данных создаются в первую очередь для увеличения производительности компаний, активно использующих в своей деятельности информационные технологии, а также для повышения качества предоставляемых услуг.

Для хранения и обработки большого количества информации используются специализированные технические решения, мощные серверы, дисковые хранилища. Создавать и обслуживать такие технические системы самостоятельно достаточно сложно и дорого: содержание серверов требует специальных технических условий, отдельных помещений и квалифицированного персонала. Одним из основных назначений дата центров как раз и является создание подходящих условий для размещения таких технических решений.

Преимущества для бизнеса

Создание многокомпонентных систем, решающих большинство проблем в бизнесе, намного сокращает расходы предприятий. В частности, для компаний с территориально-распределенной инфраструктурой это незаменимое решение, поскольку 1–2 сотрудника, обслуживающих ЦОД , с успехом заменяют множество лиц, работающих в офисах в регионах. Впоследствии многие предприниматели задумались над приобретением центров обработки данных в связи с тем, что потребовалось интегрировать воедино большое количество информации. Риск потерять определенные сведения безвозвратно стал очень велик и обусловил определенные затраты по восстановлению информации. Кроме того, возникли риски по лишению части доходов в связи с простоями по разным причинам. То есть, благодаря своим уникальным особенностям ЦОД обеспечивает эффективную бесперебойную работу любой организации.

Преимущество дата-центра в том, что человек или компания, может, из любой точки планеты, используя любое устройство доступа в сеть, работать с необходимой и достаточной вычислительной мощностью, требуемым объемам памяти, всем необходимым программным обеспечением, которое будет работать и храниться на серверах в дата-центре.

Традиционные услуги в дата-центрах: аренда стойки, размещение серверов, подключение к Интернету, аренда каналов связи, установка, настройка ПО, администрирование. В настоящее время к ним добавились предоставление в аренду вычислительных мощностей, виртуальных серверов, дискового пространства для резервного копирования данных, аренды приложений.

Надежность хранения информации. Причем эта надежность подтверждается как заложенной на этапе проектирования архитектурой, так и последующей эксплуатацией. Интересный факт, что при детальном сравнении стоимости владения информационной системой, расположенной на территории заказчика (как правило, это бизнес-центр) и в дата центре, получаются вполне сравнимые цифры, чего нельзя сказать о сравнении надежности этих способов.

Уменьшение временных затрат на реализацию новых проектов в сфере IT. При работе в дата-центре компании самостоятельно выбирают услуги, которые они хотят получать. Самыми востребованными остаются аренда стойки, юнита, готового сервера, виртуального сервера и резервное копирование данных. Но помимо этого существует ряд других услуг, которыми компании-арендаторы могут при необходимости воспользоваться, что значительно сэкономит время на запуск нового IT-проекта. Например, это аренда приложений, позволяющая избежать масштабных инвестиций на начальном этапе работы. В качестве примера можно привести аренду 1С бухгалтерии – для развертывания готовой системы, пригодной к работе, достаточно заказать и оплатить такую услугу в дата центре. При этом, зачастую, в офисе заказчика не нужно ничего покупать, устанавливать или настраивать, кроме как доступа в Интернет.

Сокращение затрат на аренду помещения. Сюда можно отнести затраты на электричество, офисные площади, используемые под «серверные», и обслуживание собственных систем охлаждения и устройств бесперебойного питания. Кстати, купленная в офис техника становится основными средствами предприятия, на них начисляется налог на имущество.

Организация непрерывной работы головного офиса с филиалами компании по всей стране. доступ к рабочей информации независимо от места нахождения сотрудника. Например, руководитель компании может, находясь в отпуске, проверять рабочую почту, связываться со своими сотрудниками через IP-телефонию.

Возможность создания резервного офиса организации, если по каким-то причинам работа в основном офисе невозможна, а необходимо получить важную информацию, доделать проект

сокращение затрат на покупку приложений. Для усиления конкурентных позиций собственники дата-центров разрабатывают новый спектр услуг, который можно предлагать арендаторам.

Первыми, кто стал использовать в своей работе центры обработки данных, были крупные зарубежные компании. За ними последовали и российские предприниматели. В РФ в 2000-2001 годах появились первые обладатели ЦОД . Пионером выступил Сбербанк России . Именно он является наиболее территориально-распределенной организацией. То есть потребность в создании интеграции многочисленных данных была высока. В дальнейшем собственными ЦОД обзавелись и крупные нефтяные компании.

Типы центров обработки данных

В зависимости от назначения различают три разных типа дата-центров, каждый из которых рассчитан на определенную модель предприятия и имеет собственные оперативные задачи и проблемы:

корпоративные дата-центры;
хостинговые дата-центры, предоставляющие компьютерную инфраструктуру как услугу (IaaS);
дата-центры, использующие технологию Web 2.0.

Ниже приведены параметры, которые могут значительно отличаться в разных типах дата-центров:

тип трафика (внутренний, внешний или смешанный);
использование Layer 2 (L2) и/или Layer 3 (L3) для управлення трафиком в центре или на периферии (Top of Rack);
технология хранения данных;
уровень серверной виртуализации;
общий размер центра обработки данных (по количеству серверов).

Создание и модернизация ЦОД

Компоненты ЦОД

Традиционный ЦОД

Обязательные компоненты, входящие в состав ЦОД , можно разделить на три основные группы:

1. Технические компоненты . Они создают условия для эффективной работы центра. К таковым относятся:

серверный комплекс, включает серверы информационных ресурсов, приложений, представления информации, а также служебные серверы
система хранения данных и резервного копирования – ядро ЦОД. Она состоит из консолидирующих дисковых массивов, сети хранения данных, системы резервного копирования и аварийного восстановления данных
сетевая инфраструктура обеспечивает взаимодействие между серверами, объединяет логические уровни и организует каналы связи. Она включает магистрали для связи с операторами общего доступа, телекоммуникации, обеспечивающие связь пользователей с ЦОД
инженерная система эксплуатации ЦОД поддерживает условия для нормального функционирования центра. В ее состав входят подсистемы энергообеспечения, климатконтроля, пожарной сигнализации и пожаротушения, передачи данных, а также автоматизированные системы диспетчеризации, управления информационными ресурсами
система безопасности предотвращает несанкционированное вторжение в зоны конфиденциальной информации. Она состоит из средств защиты, системы оповещения и системы контроля доступа

2. Программное обеспечение . Это фактически сервисы инфраструктуры ЦОД и ПО для корректной работы бизнес-процессов , необходимых для конкретной организации. К компонентам инфраструктуры относятся:

операционные системы серверов;
программное обеспечение баз данных;
операционные системы рабочих станций;
средства кластеризации ;
средства резервного копирования;
программы устройств хранения данных;
средства администрирования серверов и рабочих станций;
средства инвентаризации;
офисное программное обеспечение;
электронная почта;
Интернет -браузеры.

К программам, отвечающим за функционирование бизнес процессов, относятся:

деловые приложения;
базовые корпоративные информационные сервисы;
приложения для коллективной работы;
отраслевые компоненты;
программное обеспечение для решения задач конструкторско-технологического плана системы электронного архива и управления проектами;
программы, обеспечивающие сервисы файлов, печати, службы каталогов и других прикладных задач.

3. Организационная среда решает вопросы, связанные с предоставлением IT-услуг. Она должна соответствовать требованиям по оказанию IT-услуг, таким как ISO/IEC 20000. Здесь представлены:

процессы оказания услуг, то есть качество и доступность услуг;
процессы взаимоотношений между поставщиком и клиентом, а также с подрядными организациями;
процессы решения проблем, возникающих при функционировании любого из компонентов системы;
процессы управления конфигурациями, мониторинг и контроль статуса IT-инфраструктуры, инвентаризация, верификация и регистрация конфигурационных единиц, сбор и управление документацией, предоставление информации об IT-инфраструктуре для всех других процессов;
процессы управления изменениями, то есть определение необходимых изменений и способов их проведения с наименьшим риском для IT-услуг, а также проведение консультаций и координации действий с организацией в целом;
процессы релиза, то есть совместного тестирования и введения в активную деятельность организации ряда конфигурационных единиц.

Программный ЦОД

В программном ЦОДе мы все окружение реализуем в виде программных модулей в виртуальных машинах – virtual appliance. Идея состоит в том, что физически используются только серверы и коммутаторы . Все остальное реализуется в виде виртуальных машин – virtual appliance.

В мире сервис-провайдеров эта технология известна и даже стандартизована под названием NFV – Network Function Virtualization – виртуализация сетевых функций. Только там это используется для предоставления сервисов и соответственно очень много внимания уделяется средствам оркестрации и управления, интеграции с OSS системами, что позволяет автоматизировать процесс создания услуг для каждого из абонентов. В корпоративном ЦОД так часто состав услуг менять не надо, уровень автоматизации может быть существенно ниже, но перенос всех сетевых функций в виртуальные машины все равно дает существенные преимущества.

Наиболее важные параметры в современном ЦОД

Тепло/ плотность рассеиваемой мощности (78%)
Коэффициент готовности, время безотказной работы (57%)
Ограниченное место/Развитие (39%)
Технологические изменения/Организационные изменения (23%)
Мониторинг (18%)
Дополнительно: безопасность, надежность оборудования, программное обеспечение

Источник: «Data Center Users Group» Emerson Network Power

Требования к ЦОД для минимизаци рисков

Существуют три группы рисков, которые потенциально могут служить источником несоответствия ЦОД бизнес- и ИТ-потребностям пользователей:

риски простоев:
- связанные с плановыми профилактическими мероприятиями
- связанные с незапланированными событиями (сбоями в работе сети и оборудования)
риски изменения бизнес- и ИТ-потребностей (рост бизнеса, изменение требований к ИТ-инфраструктуре)
риски простоев, связанные с человеческим фактором.

Рис. ЦОД: три типа рисков

Для того, чтобы минимизировать эти риски, решение ЦОД должно отвечать трем важнейшим требованиям:

работоспособность (availability)
гибкость
простота

Для снижения рисков простоев и обеспечения необходимого уровня работоспособности дата-центра следует предусмотреть:

избыточность систем
отказоустойчивость систем (возможность работы в автономном режиме).

Для снижения рисков изменения требований к инфраструктуре и обеспечения гибкости решения необходимо предусмотреть его масштабируемость (возможность добавления модулей к ИТ- и инженерной инфраструктуре).

Для снижения рисков, связанных с человеческим фактором, необходимо предусмотреть простоту систем мониторинга, управления, эксплуатации ЦОД.

Рис. Три отличительных особенности хорошего решения ЦОД

Нормы, стандарты и классификация ЦОД

Несмотря на то что заказчики ставят задачи, требования которых зачастую весьма различны (например в отношении отказоустойчивости и гибкости инфраструктуры ЦОД), накапливаемый опыт позволяет создавать тиражируемые решения и реализовывать проекты с меньшими затратами, уходя от дорогостоящей концепции построения уникальных решений. К сожалению, большинство существовавших с 1985 года наработок в области стандартизации таких решений не может удовлетворить современным требованиям, что привело к необходимости кардинального пересмотра стандартов и задач, решаемых при проектировании центров обработки данных.

Как уже неоднократно отмечалось в различных источниках, все большую важность приобретает выработка единого подхода к организации ЦОД. Стандартизация должна способствовать консолидации инфраструктуры, уменьшению ее сложности, повышению управляемости, соответствию требованиям бизнес-процессов и сокращению затрат. Стандарты обобщают опыт, накопленный в ходе построения и эксплуатации различных центров данных и серверных помещений, стимулируют системный подход к реализации инфраструктуры, приводя тем самым к предсказуемой тиражируемости и масштабируемости решений, помогают унифицировать реализацию взаимосвязанных инфраструктурных систем и упростить внесение изменений. Особенно актуальной тема стандартизации ЦОД стала в последние два года.

Четыре уровня отказоустойчивости ЦОД

Параметр / Класс ЦОД (уровень)	1 Низкая отказоустойчивость	2	3	4 Высокая отказоустойчивость
Тип здания	C соседями		Отдельно стоящее
Количество энерговводов	1		Один активный, второй резервный	Два активных
Первоначальная мощность из расчета Вт на фут 2 / Вт на м 2	20 30 / 215 323	40 50 / 430 537	40 60 / 430 645	50 80 / 537 860
Максимальная мощность Вт на фут 2 / Вт на м 2	20 30 / 215 323	40 50 / 430 537	100 150 / 1075 1615	150+ / 1615+
Бесперебойное кондиционирование	Нет		Возможно	Есть
Высота фальшпола в дюймах / метрах	12» / 0.3	18" / 0.45	30" 36" / 0.75 0.9	30" 36" / 0.75 0.9
Нормативная нагрузка на фальшпол, фунты на фут 2 / кг на м 2	85 / 415	100 / 488	100 150 / 732	150+ / 732+ (по страндарту 2005г 1000+)
Общая длительность отказов за год	28,8 ч	22 ч	1,6 ч	0,4 ч
Доступность ЦОД	99,671 %	99,749 %	99,982 %	99,995 %
Срок ввода в эксплуатацию (мес.)	3	3 6	15 20
Типовой проект впервые реализован в	1965 г.	1970 г.	1985 г.	1995 г.
Стоимость строительства (+ 30%) Площадь фальшпола* Мощность ИБП	$ 4844 / м 2 $ 10 000 / кВт	$ 6450 / м 2 $ 11 000 / кВт	$ 9700 / м 2 $ 20 000 / кВт	$ 11 800 / м 2 $ 22 000 / кВт

* Примечание: указанная стоимость за м2 характеризует инвестиции во все системы жизнеобечения ЦОД, гарантирующие требуемые значения доступности.

Источник: ABR Consulting Group

Стандарты

Как решить, какой именно ЦОД нужен Вашей компании

Чтобы решить, какой именно ЦОД нужен Вашей компании, необходимо оценить потребности Вашего бизнеса по каждому из следующих критериев:

работоспособность
масштабируемость
избыточность
отказоустойчивость
управляемость
ремонтопригодность.

Основные требования к ЦОД

При определении требований необходимо учитывать тенденции развития информационных систем и телекоммуникаций в удаленной - насколько это только возможно - перспективе и предусмотреть варианты расширения мощностей ЦОД в соответствии с планами развития предприятия. Таким образом, начинать следует с расчета максимальной мощности центра данных, поскольку в дальнейшем этот параметр будет своего рода ограничителем его роста.

Далее рассчитывается емкость размещаемого оборудования, измеряемая в стандартных единицах высоты или, в просторечии, юнитах (U). Зная стандартные размеры стоек, можно определить их необходимое количество, а затем и минимальную площадь помещения, которая зависит в том числе и от его планировки. Размещать придется не только стойки и/или шкафы для оборудования, но также организаторы кабелей и другие обеспечивающие системы - электропитания, вентиляции, кондиционирования и пожаротушения. Поэтому требования к пространству определяются также такими факторами, как расчетный отвод тепла и необходимый уровень резервирования для обеспечения отказоустойчивости.

Следующий важный параметр - энергопотребление основного оборудования. Надо помнить, что в паспортах устройств обычно указывают среднюю мощность потребления. При проектировании нового ЦОД не стоит ориентироваться на цифру 5−6 кВт на стойку, поскольку размещение современных систем потребует подведения 10−15 кВт. Мощность источников бесперебойного питания выбирается в зависимости от энергопотребления основного оборудования.

Зная полезную мощность, можно определить подводимую мощность к ЦОД. Исходя из практики этот показатель составляет 250 % от мощности, потребляемой информационными системами. Куда же она тратится? В первую очередь, на отвод выделяемого тепла от оборудования, т. е. кондиционирование. Другие инженерные системы являются менее ресурсоемкими - освещение, в том числе аварийное, вентиляция, газовое пожаротушение, контроль доступа, видеонаблюдение потребляют значительно меньше энергии.

Размеры и общий вес стоек определяют требования к минимальной нагрузочной способности перекрытий и фальшпола, а состав и производительность информационных систем - к кабельным системам и внешним кабельным вводам для каналов связи.

На основании емкости и типов размещаемого оборудования, а также необходимых уровней обслуживания составляются требования к вспомогательным помещениям - складу, комнатам для персонала и т. п. Упакованное оборудование, запасные воздушные фильтры, плиты пола, кабели, носители и бумага для принтеров должны храниться отдельно - в складском помещении. В идеале для хранения различных компонентов стоит предусмотреть отдельные вспомогательные помещения, особенно для документов и магнитных лент, в крайнем случае приобрести несколько шкафов.

Кроме того, надо позаботиться об участке подготовки - для распаковки, проверки и предварительной настройки нового оборудования.

После фиксации всех нюансов в техническом задании настает черед определения требований к размещению ЦОД.

На стадии планирования ЦОД необходимо тщательно оценить издержки на основе оценки потребностей в работоспособности ЦОД, о ценить критические нагрузки, положить в основу планирования существующие стандарты проектирования, и учесть при этом существующие практики, которые могут отличаться от стандартов.

Оценка издержек: соотношение цены и функциональности

Каждый хочет работать в ИТ-среде 7x24x365. Однако такое требование имеет серьезные последствия. Работоспособность ИТ-среды – это больше, чем надежность ее компонентов и избыточность ее конфигурации. Системы должны быть одновременно в рабочем состоянии. Это означает, что абсолютно необходимо обеспечить периодическую профилактику, то есть системы должны периодически полностью выводиться из рабочего состояния без ущерба для нагрузки ЦОД. Поэтому, чем выше ожидания по работоспособности ЦОД, тем больше его стоимость. Мы поможем Вам:

определить необходимую и достаточную степень работоспособности, оптимальную для Вашего ЦОД
провести оценку стоимости решения для этого уровня риска.

Рис. От чего зависит стоимость дата-центра

Оценка критических нагрузок

В большинстве случаев недостаточно подготовить спецификацию оборудования, необходимого для строительства ЦОД, эта информация должна сопровождаться информацией о требованиях к энергопотреблению, охлаждению, пространству помещения.

Мы разработали для этого соответствующие методики, и имеем большой проектный опыт, необходимый для тщательного профилирования продуктивности оборудования, а также последствий использования этого оборудования для инфраструктуры. Речь идет не только о таких последствиях, как степень нагрузок, но и о последствиях, связанных с типами используемых технологий, развертывание блейд-серверов, повышение компактности оборудования и т.д.

Надежность ЦОД

Термин «надежность ЦОД» (reliability) означает вероятность того, что некоторый объект (элемент оборудования, дата-центр в целом) будет удовлетворительно работать в течение определенного периода времени при соблюдении определенного набора условий.

Надежность ЦОД обычно включает в себя такие составляющие как правильно выбранное помещение, наличие отлаженной системы бесперебойного гарантированного энергоснабжения, грамотной системы вентиляции и кондиционирования, водоснабжения и водоотвода. Принципиальным нюансом является правильное построение телекоммуникационных систем. Критичным для пользователя остается обеспечение комплексной безопасности дата-центра – контроля доступа, охранной и пожарной сигнализации, пожаротушения. Все большее значение приобретают аспекты катастрофоустойчивости, а также дублирования ЦОД. В настоящее время иметь резервный ЦОД стало уже не просто желательной опцией, а чуть ли не обязательным условием для многих компаний.

Работоспособность ЦОД

Термин «работоспособность ЦОД» (availability) означает вероятность того, что некоторый объект (элемент оборудования, дата-центр в целом) будет в рабочем состоянии в случайным образом выбранный момент в будущем.

Отказоустойчивость ЦОД

Термин «отказоустойчивость ЦОД» (fault tolerance) относится к ИТ-системе или компоненту, спроектированным так, что на случай выхода из строя или необходимости ремонта предусмотрены запасной компонент или процедура, которые немедленно начинают действовать, обеспечивая непрерывность предоставления сервисов. Отказоустойчивость может быть обеспечена с помощью программных, или аппаратных средств, или с помощью их комбинации.

Время продуктивной работы и время простоев ЦОД

Доля (%) времени в течение года, когда система находится в рабочем состоянии и/или в состоянии простоя (% Uptime and Down time), напрямую связаны между собой. Период простоя (downtime) – это суммарный показатель простоев за год, и он не обязательно означает, что за это время произошел один сбой, их могло быть несколько. Тем не менее, будь то секундный, минутный или часовой сбой, в любом случае это авария.

Обратите внимание, что в таблице отсутствует показатель 2(N+1). Обычно символ «S» (systems) имеет минимальное значение (N+1).

Детали по вопросам степеней работоспособности (availability) для Вашего ЦОД следует тщательно обсудить со специалистом. Отметим только, что чем выше будет требуемый Вами показатель работоспособности (availability), тем дороже обойдется его инженерная реализация.

Дополнительная информация

Стандартные и не-стандартные практики строительства ЦОД

Мы разработали ряд стандартов проектирования, благодаря которым можно с большой точностью оценить работоспособность будущего ЦОД. Благодаря опыту мы знаем, какие причины могут помешать бесперебойной работе ЦОД. Мы имеем решения для нейтрализации этих причин благодаря тому, что постоянно отслеживаем новые тенденции в технологиях.