Реферат на тему НМС для серверных системных плат

Системная плата основа практически любого компьютера, в том числе и сервера. Поэтому неудивительно, что именно в системной плате реализованы специфические черты той или иной платформы. Поскольку архитектура серверов младшего уровня лишь незначительно отличается от архитектуры обычных персональных компьютеров, похож и дизайн системных плат. Высокопроизводительные многопроцессорные мастодонты, строящиеся по модульному принципу, могут и вовсе не иметь системной платы в привычном смысле их характеристики определяет только НМС системной логики, а от платы, на которой НМС собран, характеристики системы практически не зависят. В случае серверов младшего и среднего уровней НМС имеет огромное значение, однако в связи с универсальностью компонентов и наличием дополнительных микросхем-контроллеров спектр возможных решений, построенных на базе одного набора микросхем, может быть гораздо шире.

Набор микросхем. Наборы микросхем для серверов младшего уровня практически не отличаются от НМС для настольных ПК, однако с ростом сложности вычислительной системы подход к проектированию микросхем меняется: на первый план выходят задачи масштабируемости. Серверные НМС для многопроцессорных систем, как правило, состоят из большого количества специализированных микросхем и предусматривают масштабирование вычислительных средств и устройств ввода-вывода без применения общих каналов передачи данных. Ниже приведен подробный обзор наиболее распространенных серверных НМС.

Нередко крупные изготовители серверов такие, как Sun, NEC и некоторые другие, разрабатывают собственные НМС для процессоров AMD Opteron, Intel Xeon и Itanium 2. Это необходимо для создания архитектур с более чем 16 процессорами для таких систем готовых НМС мало и не всегда их характеристики и возможности достаточны для ряда задач. Однако в связи с тем, что фирменные наборы микросхем не поступают в открытую продажу, компании используют их только в своих серверах, а технические характеристики и подробности архитектуры, как правило, не раскрывают.

Процессорные гнезда. Основная черта серверов применение многопроцессорных конфигураций. Поэтому, несмотря на то что большая часть серверных ЦП по сути модифицированные процессоры для ПК, они имеют заметные конструктивные различия, и прежде всего это касается процессорных гнезд.

Современные процессоры Xeon имеют системную шину, почти полностью аналогичную шине Pentium 4 (они даже могут работать с одними и теми же НМС, в однопроцессорной, разумеется, конфигурации), но общая шина многопроцессорных IA-систем требует наличия дополнительных контактных линий. Современные ЦП Xeon устанавливаются в 603- (400-МГц шина) и 604-контактные (533-МГц шина) гнезда ZIF (Zero Insertion Force обеспечивают отсутствие давления на контакты при установке ЦП), в то время как для Pentium 4 достаточно 478-контактного гнезда.

У процессоров AMD Opteron количество контактов больше 940. Это объясняется тем, что в ядро процессора встроен контроллер памяти и несколько шин HyperTransport.

Процессоры Itanium первого и второго поколения устанавливаются в другой тип гнезда VLIF (Very Low Insertion Force минимальное давление на контакты при установке) и имеют 418 и 611 контактов соответственно.

Шины для плат расширения. Хотя архитектура сервера не предполагает столь высокую гибкость и модернизируемость, как у ПК, тем не менее она предусматривает возможность расширения. Однако наиболее распространенная в ПК шина для подключения плат расширения (32-бит 66-МГц PCI) в серверах почти не применяется. Как правило, серверные системные платы оснащаются контроллерами шины PCI-X (ширина 64 бит, частота 66, 100, 133 или 266 МГц), основное отличие PCI-X от традиционной PCI соединение типа точкаточка. Контроллеры PCI-X присутствуют практически во всех серверных НМС.

НМС для систем с однимчетырьмя ЦП

Opteron

NVIDIA nForce Professional 2200 и 2050. Позиции компании NVIDIA на рынке НМС для процессоров семейства Athlon 64 очень сильны: пользуясь преимуществами встроенного в ядро ЦП контроллера памяти Athlon 64, инженеры компании разработали микросхему nForce, выполняющую функции и северного и южного мостов. Решение оказалось столь удачным, что NVIDIA, выпустив третье поколение этой микросхемы, претендует на лидерство на рынке систем Athlon 64.

Учитывая близость архитектур Athlon 64 и Opteron, неудивительно, что руководство NVIDIA приняло решение выпустить модель микросхемы для рынка серверов и рабочих станций.

В начале этого года NVIDIA представила семейство микросхем nForce Professional из двух моделей 2200 и 2050. Эти микросхемы предназначены для построения двухпроцессорных серверов на базе процессоров Opteron. Каждая микросхема представляет собой полноценное ядро вычислительной системы (они оснащены системным интерфейсом HyperTransport для связи с ЦП, двадцатью линиями PCI Express, мощными сетевыми и дисковыми контроллерами), предусмотрена возможность создания RAID-массивов и подключение к 1-Гбит/с Ethernet-сетям. Микросхема 2050 несколько упрощена по сравнению со старшей моделью: в ней отсутствуют контроллеры обычного параллельного интерфейса АТА (есть только Serial ATA), USB, шины PCI, а также звуковой контроллер.

Предложенные NVIDIA наборы микросхем ориентированы в первую очередь на высокопроизводительные рабочие станции, но они нашли применение и в традиционных двухпроцессорных серверах некоторых изготовителей.

Примечательно, что нередко для равномерного распределения загрузки в одной системе применяют обе микросхемы, которые подключаются к разным ЦП. Кроме того, нередко nForce Professional 220 дополняют микросхемой AMD-8132, обеспечивающей работу PCI-X-устройств (о ней будет рассказано ниже); по этой схеме построен, например, сервер HP Proliant DL145 G2.

ServerWorks HT-2000, НТ-1000. Наборы микросхем подразделения Broadcom компании ServerWorks хорошо известны на рынке Xeon-серверов, на котором они очень успешно конкурировали с продукцией самой Intel и нередко превосходили ее по возможностям и характеристикам. Недавно в модельном ряду компании появились две новые модели микросхем, предназначенные для построения двух- й четырехпроцессорных серверов на базе Opteron НТ-2000 и НТ-1000.

Микросхема НТ-1000 оснащена шиной HyperTransport 8x8 (3,2 Гбайт/с) для связи с ЦП, интерфейсами PCI (32-бит, 33-МГц) и PCI-X (64-бит, 133-МГц), дисковыми контроллерами АТА и Serial ATA (300-Мбайт/с), USR 2.0.

Микросхема НТ-2000 оборудована двумя интерфейсами HyperTransport для связи с ЦП используется более высокопроизводительный 16x16 (8 Гбайт/с), а для подключения контроллеров ввода-вывода 8x8 (3,2 Гбайт/с). Дополнительные контроллеры ввода-вывода могут понадобиться, поскольку ПТ-2000 не оснащен ни дисковыми интерфейсами, ни обычной 32-бит PCI, ни USB. Но зато эта микросхема обеспечивает работу 17 каналов PCI Express, и, кроме того, она оснащена встроенным двухканальным 1-Гбит/с Ethernet-контроллером.

Микросхемы НТ-2000 и НТ-1000 позволяют создавать системы самого разного уровня как по производительности, так и по функциональным возможностям. Примечательно, что эти микросхемы могут применяться отдельно и совместно как единый НМС. НТ-1000 ориентирован на использование в двухпроцессорных блэйд-серверах. Кроме того, он может быть применен в качестве южного моста (роль северного моста будет играть соответственно НТ-2000) в составе более мощных двухпроцессорных систем. А для создания высокопроизводительной четырехпроцессорной конфигурации необходимы две микросхемы НТ-2000 и одна НТ-1000.

Itanium

Intel E8870. Для самых высокопроизводительных процессоров Intel, Itanium 2, предназначен набор микросхем Е8870, построенный по модульной архитектуре, благодаря чему он обладает такими преимуществами, как масштабируемость (используя компоненты Е8870, можно строить системы самого разного уровня) и высокая степень унификации (в НМС Е8870 использованы компоненты от более простых наборов микросхем, но они не становятся узким местом системы). Основная идея, реализованная в Е8870, организация высокоскоростных каналов, соединяющих основные компоненты системы.

Ядро системы микросхема Е8870 (SNC, Scalable Node Controller), отвечающая за связь процессоров с остальными компонентами системы. Микросхема SNC оснащена 6,4-Гбайт/с процессорной шиной и позволяет подключить до четырех процессоров Itanium 2 на общей шине. Кроме процессорной шины микросхема SNC оснащена четырьмя интерфейсами для подключения контроллеров памяти. Пропускная способность каждого интерфейса 1,6 Гбайт/с, соответственно суммарное значение для всех четырех шин 6,4 Гбайт/с, т. е. равно пропускной способности процессорной шины. Функции контроллеров памяти выполняют микросхемы E8870DH (DMH, DDR Memory Hub), каждая из них контролирует два канала памяти DDR. Максимальное количество модулей памяти, подключаемых к DMH, восемь, соответственно всего к микросхеме SNC через четыре контроллера DMH может быть подключено 32 модуля, что при использовании 2-Гбайт модулей составит 64 Гбайт. Применение контроллеров DMH, помимо высокого уровня масштабируемости ОЗУ, позволяет значительно сократить задержки при работе с большими объемами памяти, благодаря наличию четырех независимых каналов.

В набор интерфейсов микросхемы SNC входят также два порта SP (Scalability Port) двунаправленные интерфейсы, пропускная способность которых в каждом направлении 3,2 Гбайт/с, суммарная для двух двунаправленных портов SP 12,8 Гбайт/с. Используются эти порты для подключения микросхем Е8870IО (SIOH, Server Input/Output Hub), к каждому порту SP может быть подключена одна такая микросхема. Задача узла ввода-вывода SIOH обеспечить подключение оставшихся двух компонентов набора микросхем контроллеров Р64Н2 и ICH4 (подробно описанным выше). Микросхема SIOH оснащена четырьмя интерфейсами Hub Interface 2.0 и одним Hub Interface 1.5, и к ней может быть подключено до четырех контроллеров Р64Н2 и один ICH4. Теоретически каждый контроллер SNC может быть соединен с двумя узлами ввода-вывода, что позволяет оснастить систему на НМС Е8870 шестнадцатью каналами PCI-X.

Таким образом, состоящий из пяти компонентов НМС Е8870 можно логически разделить на две части: систему взаимодействия ЦП и ОЗУ и систему ввода-вывода. Как было показано выше, обе они отличаются высокой степенью масштабируемости, а в подсистему ввода-вывода, благодаря универсальным интерфейсам Hub Interface, входят контроллеры, применяемые и в НМС для менее мощных систем.

HP zxl. Компания Hewlett-Packard основной партнер Intel в области разработки 64-бит процессоров Itanium и один из крупнейших поставщиков серверов высокого уровня, построенных на базе этого процессора. Инженеры HP разработали два фирменных набора микросхем, предназначенных для этого ЦП.

Наиболее распространен НМС zxl, предназначенный для построения двух- или четырехпроцессорных систем (о наборе sxlOOO, разработанном для создания систем с числом ЦП до 128, будет рассказано ниже).

Базовая комплектация zxl состоит всего из двух микросхем zxl MIO (Memory & Input/Output Controller, контроллер памяти) и zxl IOA (Input/Output Adapter, контроллер ввода-вывода). Контроллер памяти zxl MIO оснащен 6,4-Гбайт/с процессорной шиной и позволяет использовать два или четыре процессора Itanium 2 на общей шине. В микросхеме zxl IOA предусмотрены контроллеры шин PCI и PCI-X, интерфейсы AGP и АТА. К центральной микросхеме zxl MIO может быть подключено до восьми контроллеров ввода-вывода, суммарная пропускная способность каналов, соединяющих их с zxl MIO, 4 Гбайт/с.

Память подключается к zxl MIO либо напрямую (имеется контроллер памяти DDR266), либо через микросхемы zxl SME (Scalable Memory Expander, масштабируемый интерфейс памяти). К двум 6,4-Гбайт/с интерфейсам может быть подключено до двенадцати микросхем zxl SME, максимальный объем ОЗУ 96 Гбайт.

Более четырех процессоров, коммутируемые системы

Opteron

AMD 8000. Архитектура набора микросхем AMD 8000, состоящего всего из трех компонентов, но позволяющего создавать вычислительные системы с количеством процессоров от одного до восьми, весьма необычна. Объясняется это тем, что, в отличие от большинства распространенных серверных ЦП, процессоры Opteron имеют встроенные средства для создания многопроцессорных систем. Каждый ЦП Opteron может иметь до трех встроенных контроллеров шипы HyperTransport, с помощью которых он напрямую подключается к другим процессорам. Контроллер памяти и коммутатор также встроены непосредственно в процессорное ядро, и с некоторой долей условности можно сказать, что для создания симметричной многопроцессорной системы с процессорами Opteron вовсе не нужны дополнительные микросхемы (подробнее см. Процессоры). Тем не менее это, разумеется, не так: последние необходимы для организации подсистемы ввода-вывода.

Как отмечалось выше, набор микросхем AMD 8000 состоит из трех компонентов. В качестве основной связующей шины применяется интерфейс HyperTransport, а две микросхемы из трех AMD 8151 и AMD 8131 представляют собой HyperTransport-туннели. Первая микросхема, AMD 8151, выполняет функции AGP-контроллера, помимо двух интерфейсов HyperTransport (16x16, 6,4 Гбайт/с) она оснащена интерфейсом AGP 8Х для подключения высокопроизводительных графических адаптеров. Однако необходимо отметить, что в системных платах для серверов она, как правило, не используется, а применяется при построении мощных рабочих станций. Вторая микросхема, AMD 8131, также HyperTransport-туннель, но несимметричный: один из двух интерфейсов HyperTransport, которыми оснащена AMD 8131, имеет меньшую ширину, тактовую частоту и соответственно пропускную способность 800 Мбайт/с. Помимо интерфейсов HyperTransport, AMD 8131 оснащена двухканальным контроллером 64-бит 133-МГц шины PCI-X. Недавно компания AMD представила обновленную версию этой микросхемы AMD 8132. У нее более высокопроизводительный интерфейс 1-ГГц HyperTransport (16x16, 8 Гбайт/с) и усовершенствованный PCI-X-контроллер, который может работать на частоте до 266 МГц.

Третья микросхема, AMD 8111, играет роль южного моста и отвечает за работу шины PCI, интерфейсов USB, ATA, портов 10/100-Мбит/с Ethernet, имеет только один контроллер HyperTransport с пропускной способностью 800 Мбайт/с и не может быть подключена к ЦП напрямую, а только через микросхему AMD 8131.

Itanium

Intel E887OSP. Модульная архитектура набора микросхем Е8870, о котором подробно рассказано выше, позволяет использовать его компоненты для создания более сложных восьмипроцессорных серверных систем. Однако для получения симметричной многопроцессорной системы (SMP) невозможно просто соединить с помощью портов SP две микросхемы SNC в этом случае микросхемам SNC придется решать задачи управления потоками данных, направленных к локальным и удаленным вычислительным ресурсам. Очевидно, что эти механизмы не были реализованы в НМС Е8870, предназначенном для более простых систем.

Решением этой проблемы стал дополнительный коммутатор E8870SP (SPS, Scalability Port Switch). Эта микросхема оснащена четырьмя 6,4-Гбайт/с двунаправленными интерфейсами SP и применяется для объединения двух НМС Е8870 в одну восьмипроцессорную систему. Точнее, для организации симметричного восьмипроцессорного НМС требуется два таких коммутатора.

Микросхема SPS выполняет две основные функции перенаправляет потоки данных к строительным блокам набора микросхем и от них, а также обеспечивает когерентность памяти. Микросхема оснащена специальными высокоскоростными внутренними шинами (bypass busses), которые позволяют критичным для поддержания когерентности ОЗУ данным вне очереди достигать контроллеров памяти SNC. На рисунке изображена схема каналов данных в наборе микросхем E887OSP. Видно, что для каждого SNC контроллеры Р64Н2 логически равноудалены, вследствие чего обращение к любому из них для SNC происходит одинаковым образом.

Параметры НМС E8870SP это по сути удвоенные характеристики набора Е8870 к каждому SNC по 400-МГц системной шине с пропускной способностью 6,4 Гбайт/с подключается по четыре процессора Intel Itanium 2. Общее количество контроллеров памяти DMH в системе восемь, что позволяет довести максимальный объем ОЗУ до 248 Гбайт! Вдвое (до восьми) по сравнению с Е8870 увеличено и максимальное число контроллеров Р64Н2, каждый из которых обеспечивает работу двух каналов PCI-X.

Как и в случае с Е8870, набор микросхем E887OSP можно логически разделить на две части: вычислительную подсистему и подсистему ввода-вывода. Суммарная пропускная способность каналов данных, соединяющих две эти подсистемы, достигает 25,6 Гбайт/с.

IBM Summit (XA-32, XA-64). IBM Summit это фирменное название не одного, а двух наборов микросхем: ХА-32 и ХА-64, предназначенных для 32-бит процессоров Intel Xeon и 64-бит Itanium. Однако у этих НМС практически одинаковая архитектура.

В самый простой вариант Summit (НМС ХА-32 для четырехпроцессорных систем) входит две микросхемы: контроллер памяти, имеющий два канала для подключения памяти и два для связи с мостами ввода-вывода. К последним могут быть подключены адаптеры PCI-X (64-бит, 133 МГц) или универсальный контроллер ввода-вывода, содержащий коммуникационные средства (1-Гбит/с Ethernet), дисковые интерфейсы (Ultral60 SCSI) и пр.

Расширенный вариант НМС (ХА-32 и ХА-64 для серверов с более чем 4 процессорами) позволяет создавать более сложные системы в него входит контроллер шины расширения и кэша L4. Этот контроллер оснащен тремя портами для связи с другими модулями (комплект контроллеров, обслуживающих ОЗУ и до четырех ЦП, называется в терминологии IBM SMP expansion module), суммарная пропускная способность этих портов 3,2 Гбайт/с. Системы на основе НМС Summit масштабируются увеличением количества модулей расширения.

Наиболее интересное техническое решение, реализованное в НМС IBM Summit, наличие встроенного в набор контроллера кэш-памяти L4. Контроллер кэша L4 самостоятельно (без участия ЦП) помещает данные из ОЗУ в более быстрый буфер, в который и перенаправляются запросы от процессора к памяти. В случае верного предсказания это заметно ускоряет обмен данными ЦП с ОЗУ, что важно для Intel-систем, использующих общую процессорную шину.

HP sx1000. Этот НМС позволяет создавать системы самого разного уровня от 4 до 128 процессоров. Он предлагает такие функции, как RAS и управление когерентностью кэшей.

В основе НМС sxl000 лежит использование так называемых процессорных ячеек (socket cell), каждая из которых содержит набор шин для подключения четырех ЦП Itanium 2 или РА-8700/8800, четырех контроллеров памяти (максимальное количество модулей памяти, используемых одной ячейкой, 32, предельный объем памяти 64 Гбайт) и шестнадцатиканального контроллера шины PCI-X. Примечательно, что, в отличие от НМС предыдущего поколения, Yosernite, процессорная ячейка строится не по топологии точкаточка, а по схеме с двумя общими шинами по два ЦП на каждой. Процессорные ячейки соединяются напрямую (восьмипроцессорная система) или через крестовой коммутатор (crossbar switch). Использование коммутатора позволяет масштабировать НМС (до 16 процессорных ячеек), сохраняя симметричность системы.

Список литературы

Журнал Upgrade4_08_05



Рефераты на эту же тему: