Серия Avago PEX9700 для коммутаторов следующего поколения PCIe
Преобразование стойки с помощью ExpressFabric Technology
Коммутационные коммутаторы серии Avago PEX9700 предлагают первый в отрасли набор новых функций, которые значительно повышают производительность, снижая энергопотребление и снижая затраты на 50% для самых требовательных гиперконвертированных систем NVMe и шкафов.
Серия PEX9700 с технологией ExpressFabric обеспечивает высокую производительность, низкую задержку, масштабируемость и экономичность. Технология, основанная на Gen3 PCI Express, теперь обеспечивает возможность совместного использования ввода-вывода со стандартными SR-IOV или многофункциональными устройствами и позволяет нескольким хостам размещаться в одной сети на основе PCIe, используя стандартное перечисление PCIe. Хосты обмениваются данными через Ethernet-DMA (NIC DMA) с использованием стандартных хостов, конечных точек и прикладного программного обеспечения. Также доступна специальная связь с узлами с малой задержкой для коротких пакетов, называемая туннелированным соединением Windows (TWC).
Снижение затрат, мощности и задержки
Технология ExpressFabric предназначена для замены «мостовых» и коммутационных устройств, работающих в стойке с облачным / информационным центром. Такая ситуация возможна, потому что практически все компоненты, составляющие основу центров обработки данных, процессоры, устройства хранения данных и устройства связи, имеют PCIe как по крайней мере одно из своих соединений. Используя PCIe в качестве основной ткани, все компоненты могут взаимодействовать напрямую. Исключив необходимость перевода с PCIe (на компонент) на Ethernet или InfiniBand (в качестве двух общих альтернатив), стоимость и мощность стойки могут быть существенно уменьшены. Кроме того, связь между компонентами также снижает латентность.
Конвергентная ткань
В центрах обработки данных имеется множество тканей внутри стойки. Ethernet обычно используется для связи, Fibre Channel популярен для хранения, а InfiniBand является общим для трафика HPC. Технология ExpressFabric имеет возможность обрабатывать все типы данных на линейной скорости с помощью одной ткани на основе PCIe. Эта возможность устраняет необходимость разбивать различные типы данных с использованием разных протоколов, что позволяет создать действительно конвергентную структуру, где процессоры и конечные точки могут быть распределены по стойке по мере необходимости. Кроме того, все они будут эффективно взаимодействовать с каналом PCIe с низкой задержкой и высокой пропускной способностью.
Прямое подключение к твердотельным накопителям
Стандартные SSD-накопители на предприятиях быстро стандартизуются на PCIe в качестве основного межсоединения с высокопроизводительной флэш-памятью. Подсистемы хранения, основанные на этом подходе, могут напрямую подключаться к технологии ExpressFabric, которая позволяет масштабируемым образом интегрировать в ткань высокопроизводительные флэш-элементы с малой задержкой.
Общий ввод-вывод с использованием стандартов
Система на основе ExpressFabric позволяет нескольким узлам совместно использовать данные с конечными точками, используя стандартные устройства, поддерживающие SR-IOV. Обычно устройство SR-IOV позволяет нескольким виртуальным машинам (виртуальным машинам) в пределах одного хоста совместно использовать конечную точку. Технология ExpressFabric расширяет это, позволяя виртуальным машинам в нескольких хостах иметь такую же возможность. В дополнение, эта функция работает со стандартными драйверами SR-IOV, поставляемыми поставщиками, которые поддерживают существующее аппаратное и программное обеспечение.
Универсальный хост-хост DMA
Большинство приложений, работающих в центре обработки данных, используют Ethernet как ткань, и существует обширная библиотека приложений, которые были развернуты для этой цели. Технология ExpressFabric позволяет этому программному обеспечению работать без изменений с использованием виртуальной сетевой платы Ethernet на каждом хост-порту.
Низкозависимый хост-сервер NIC DMA
Когда производительность играет важную роль в приложениях кластеризации, NIC DMA используется для устранения большей части накладных расходов на программное обеспечение для повторного копирования данных. ExpressFabric выделила аппаратное обеспечение NIC DMA для обработки этой функции, предлагая высокую производительность без специального оборудования.
Программная ткань
Решение ExpressFabric построено на гибридной аппаратно-программной платформе. Критические пути имеют прямую аппаратную поддержку, которая позволяет ткани предлагать неблокирующуюся скорость линии с такими функциями, как совместное использование или DMA.
Решение предлагает инновационный подход к настройке и управлению, используя процессор управления чипом (mCPU) для инициализации ткани, настройки таблиц маршрутизации, обработки ошибок и событий с горячим подключением и обеспечения возможности расширения возможностей без изменение аппаратного обеспечения.
Одной из ключевых особенностей, которую предоставляет mCPU, является возможность разрешить нескольким хостам проживать в сети PCIe, но для этого использовать стандартные методы перечисления узлов. Это была возможность, которая до сих пор была невозможна с помощью системы на основе PCIe. MCPU выполняет эту задачу, синтезируя иерархию для каждого хоста. Из-за этого синтеза хосты «видят» обычную иерархию PCIe, но на самом деле они видят только то, что разрешает mCPU. Хосты не имеют прямого соединения внутри ткани и, таким образом, могут запускать стандартное перечисление и программное обеспечение.
Подключение туннелированного окна (TWC)
В рамках общего решения хосты могут общаться двумя способами. DMA обычно используется в центрах обработки данных, а решение ExpressFabric поддерживает их без проблем для больших размеров сообщений.
Когда существует потребность в передаче небольшого сообщения между хостами, доступен доступ под названием TWC. TWC позволяет отправлять сообщения с одного узла на другой с очень малой задержкой и без накладных расходов, связанных с DMA.
Консолидация по нисходящему порту (DPC / eDPC)
Большинство серверов испытывают трудности при обработке серьезных ошибок, особенно когда конечная точка исчезает из системы из-за, например, выталкиваемого кабеля. Проблема имеет тенденцию к размножению через систему до тех пор, пока восстановление не станет невозможным. DPC / eDPC позволяет отключить нисходящую линию связи после непоправимой ошибки. Эта возможность делает возможным восстановление ошибок с помощью соответствующего программного обеспечения, и это особенно важно в системах хранения, потому что удаление диска должно управляться управляемым и надежным способом.
В дополнение к предлагаемому PCI-SIG ECN устройства ExpressFabric отслеживают выдающиеся считывания на нижестоящих портах, и они синтезируют завершение, так что хост не получает таймаут завершения, если конечная точка удалена.
Гибкие топологии тканей
Технология ExpressFabric устраняет ограничения на топологию PCIe. Как правило, сети PCIe должны быть расположены в иерархической топологии с одним путем для перехода от одной точки к другой. Технология ExpressFabric позволяет использовать другие топологии, такие как сетка, жирное дерево и многие другие, и это делает это, позволяя компонентам оставаться архитектурно и программно совместимыми со стандартным PCIe.
Улучшенная изоляция SSC
Устройства ExpressFabric предлагают несколько механизмов поддержки многочасовых доменов, которые включают в себя синхронизацию с расширенным спектром, что устраняет необходимость пропускать общие часы по объединительной панели. В дополнение к стандартному подходу Avago к проблеме - механизму, который компания включила в свои продукты в течение нескольких поколений - Avago также добавила новый подход PCI-SIG, называемый SRIS (Separate Refclk Independent SSC Architecture).
При таком стандартном подходе к изоляции SSC устройства от разных поставщиков могут предложить это преимущество, что обеспечивает большую гибкость разработчику системы.
Построенный на Solid Foundation
Устройства Avago ExpressFabric построены на основе того же базового элемента переключающего элемента, что и нынешнее семейство устройств подсчета высоты полосы. Таким образом, они поддерживают тот же мощный набор функций, который предлагается в стандартных устройствах от Avago, в том числе:
Приложения
Продукты, основанные на технологии ExpressFabric, могут предоставить выдающиеся решения для разработки гетерогенной системы, где существует требование для гибкого сочетания процессоров, элементов хранения и устройств связи.
Принадлежности для хранения
Прибор представляет собой специализированный функциональный блок, который предлагает определенную возможность и подключается к остальной системе через стандартный интерфейс - обычно Ethernet. Этот подход обычно используется в хранилище, поскольку относительно легко добавить больше хранилища, просто включив его как часть сети.
В большинстве современных высокоскоростных подсистем хранилищ есть сочетание вращающихся носителей и твердотельных накопителей, чтобы сбалансировать производительность и стоимость, а также включить некоторую обработку для управления системой. Эти системы можно эффективно развертывать с помощью ExpressFabric, поскольку подсистемы хранения подключаются напрямую к PCIe (SSD) или косвенно (контроллеры SAS или SATA) и могут напрямую связываться с процессорами и коммуникационными микросхемами.
Высокопроизводительные вычислительные (HPC) кластеры
Кластеры HPC состоят из высокопроизводительных элементов обработки, которые взаимодействуют через каналы с высокой пропускной способностью и низкой задержкой для выполнения приложений, таких как медицинская визуализация, финансовая торговля, хранилище данных и т. Д.
Решение на основе ExpressFabric может предложить те же возможности - высокую пропускную способность, низкую задержку и коммутационную структуру. Подсистемы обработки могут подключаться непосредственно к материнской плате PCIe и запускать одно и то же прикладное программное обеспечение, которое выигрывает от более низкой стоимости и мощности из-за устранения мостовых устройств. Кроме того, системы кластеризации могут быть построены с использованием обмена ввода-вывода как при необходимости, дополнительную нативную способность, которая обычно не предоставляется традиционными системами кластеризации, построенными на InfiniBand.
Серверы на стойке и на базе blade-серверов
Типичные серверные ящики, которые создают современные облачные и корпоративные центры обработки данных, состоят из стоек, которые включают модульные подсистемы, которые обмениваются данными друг с другом по объединительной плате или через кабели. Соединения в стойках используют технологию ExpressFabric. Вместо того, чтобы рассматривать каждую подсистему как отдельный серверный узел (с некоторыми предопределенными или ограниченными квантами обработки, хранения и связи), blade-серверы на основе ExpressFabric могут быть объединены с выделенными blade-серверами, которые выполняют определенную функцию.
Этот дезагрегированный подход позволяет правильно сочетать каждую функцию в зависимости от конкретных потребностей приложения. Поскольку все они подключены напрямую друг к другу через соединение PCIe, латентность между подсистемами очень низкая, и, в архитектуре, вся система выглядит как одна большая система с точки зрения программного обеспечения.
MicroServers
MicroServer - это система, разработанная с большим числом процессоров с более низкой мощностью и низкой стоимостью обработки, а не с более крупными (и, следовательно, гораздо более мощными и дорогостоящими) серверными процессорами. Они предлагают существенные преимущества, когда приложения требуют большого количества агрегатной обработки, но там, где приложение может быть распространено среди множества небольших двигателей. Некоторые типичные приложения - это веб-серверы и анализ данных Hadoop.
Большинство элементов MicroServer сегодня состоят из систем на чипе (SoC), которые имеют обработку, хранение и связь, и эти элементы подключаются вместе с проприетарными или низкоскоростными Ethernet-соединениями. Поскольку аналогичные элементы обработки имеют на них PCIe, в общем, ExpressFabric является идеальным межсоединением для системы MicroServer.
- Низкая латентность ~ 150 нс (x16 до x16) за каждый прыжок
- Очень гибкая конфигурация портов
- Конфигурация гибкого регистра
- Управление мощностью и сигналами SerDes
- Гибкое распределение внутреннего буфера и управление потоком пакетов
- Возможность прямой горячей замены для до шести портов на самом большом устройстве и последовательный «горячий» штекер для всех портов
- Avago performancePAK и visionPAK
Существующие SoC могут быть объединены вместе для стандартного решения с низкой задержкой, высокой производительности, или различные элементы могут быть дезагрегированы, как со стандартными серверами.
Инструменты разработки
Avago предлагает платформу для разработки на платформе ExpressFabric, которая включает в себя как аппаратные, так и программные инструменты. Платформа аппаратного обеспечения реализует полный коммутационный блок верхнего уровня на стойке, полностью функциональный пакет прошивки, который позволяет переключателю ткани работать, и драйверы хоста, которые завершают пакет.
Платформа ExpressFabric Reference
Чтобы обеспечить разработку и демонстрацию системы, Avago предлагает PXF 55033: 32-портовый, 1U-фактор, устанавливаемый в стойку с верхней стойкой. Эта система подключается к серверам стойки с помощью дополнительной плагиновой платы PCIe на основе redriver: PXF 51003. Соединение между адаптером и переключателем ToR осуществляется через стандартные разъемы QSFP + и медные или оптические кабели.