Suchen

Serie Modulare Computersysteme, Teil 1/4 Vergleich der Architekturen

Autor / Redakteur: Aksel Saltuklar * / Holger Heller

Der Start der Serie zeigt die Leistungsfähigkeit und Vielfalt modularer Computersysteme und ihre Skalierbarkeit. In den nächsten Folgen werden VPX/OpenVPX, MicroTCA und CompactPCI Serial im Detail vorgestellt.

Firmen zum Thema

Modulare Computersysteme im Vergleich: Passive Bussysteme, 19"-Gehäuse und Einschübe in einfacher und doppelter Bauhöhe (3U/6U)
Modulare Computersysteme im Vergleich: Passive Bussysteme, 19"-Gehäuse und Einschübe in einfacher und doppelter Bauhöhe (3U/6U)
(ELMA)

Komplexe Embedded-Systeme werden gerne als modulare Systeme realisiert. Diese bieten den Vorteil der Standardisierung von physikalischen Formfaktoren und ermöglichen so die Austauschbarkeit von Hardwarekomponenten verschiedener Hersteller, was Zeit- und Kosteneinsparungen durch Wiederverwendbarkeit ermöglicht.

In den letzten Jahrzehnten beherrschten mit VME und CompactPCI Standards, die auf parallelen Datenbussen basieren, diesen Markt. Ihre Urahnen in den 1980er Jahren entstanden damals auf Basis der Busarchitekturen der großen Chiphersteller Motorola (heute Freescale) für VME und Intel für PCI-ISA (PICMG 1.0), später abgelöst durch CompactPCI (PICMG 2.x).

Bildergalerie
Bildergalerie mit 10 Bildern

Inzwischen sind beide Systeme offen für unterschiedliche CPU-Architekturen. Als aktuelle Nachfolger mit seriellen Hochleistungs-Datenbussen etablieren sich derzeit VPX/OpenVPX für VME und CompactPCI Serial für CompactPCI. Während VME ursprünglich von der IEC als ANSI/IEEE-Standard 1014 festgelegt wurde, erfolgte seit 1994 die Standardisierung von VPX/OpenVPX sowie von VME durch das VITA-Gremium. Eine wichtige Brückenfunktion zwischen VME und VPX/OpenVPX erfüllt dabei der ebenfalls von der VITA festgelegte Standard VXS, der mechanisch und protokollseitig kompatibel zu VME bereits den Einsatz von seriellen Technologien erlaubt.

CompactPCI (PICMG 2.x) und CompactPCI Serial (PICMG CPCI-S.0) werden von dem PICMG-Gremium standardisiert, wobei auch hier mit CompactPCI Plus IO (PICMG 2.30) ein Brückenstandard besteht, der mechanisch und teilweise protokollseitig kompatibel in Systemen mit hybrider Backplane die Nutzung von Modulen beider Architekturen ermöglicht. Mit MicroTCA (MTCA oder µTCA; PICMG MTCA.0) hat sich im letzten Jahrzehnt ein neuer, serielle Hochgeschwindigkeitsarchitekturen unterstützender Standard etabliert, der über keine parallelen „Altlasten“ verfügt und wie CompactPCI Serial ebenfalls vom PICMG-Gremium standardisiert wird.

Einheitliches Formfaktor-Konzept

MicroTCA hat sich aus dem in den späten 1990er Jahren neu etablierten Telekommunikationsstandard AdvancedTCA (Advanced Telecommunications Computing Architecture; PICMG 3.x) entwickelt. Dieser definiert Advanced Mezzanine Cards (AMCs) mit kleinerem Formfaktor, die als eigenständige Tochterkarten die Basis für MicroTCA darstellen. Auf AdvancedTCA wird hier trotz seiner seriellen Struktur nicht eingegangen, da AdvancedTCA erstens sehr speziell auf Telekommunikation ausgelegt ist und zweitens den Platz- und Kostenrahmen der anderen hier besprochenen Standards weit überschreitet.

All den hier vorgestellten Systemen ist gemeinsam, dass sie mit passiven Bussystemen (Backplanes) arbeiten und in der Regel im 19"-Gehäusestandard verfügbar sind (Bild 1, Bild 2). Des Weiteren gibt es für alle Systeme Einschubkarten jeweils in einfacher und doppelter Bauhöhe (3U/6U bzw. Single/Double-Module), die aber nicht in allen Systemen zwingend miteinander kompatibel sind. Mit Ausnahme von MicroTCA basieren alle anderen Systeme auf dem jahrzehntelang bewährten Europakarten-Standard, der in der IEEE-Normenfamilie 1101.x beschrieben wird.

Die Module selbst haben einen Slotabstand (Pitch) von 0,8" (20,32 mm) und sind entweder als 3U im Standardformat von 100 mm x 160 mm oder als 6U mit 233,35 mm x 160 mm verfügbar. Single-MicroTCA-Module haben sich aus den Mezzanine-AMC-Modulen des AdvancedTCA-Standards entwickelt und sind mit diesen stecker- und formfaktoridentisch. Im Unterschied dazu gibt es die MicroTCA-Module in zwei verschiedenen Bauhöhen: Single- und Double-Module mit den Größen 73,5 mm x 180,6 mm und 148,5 mm x 180,6 mm und in drei Slotbreiten: Compact-, Mid- und Full-Size mit einem Slotabstand von 0,6/0,8/1,2". VXS ist wegen der Rückwärtskompatibilität mit VME nur in 6U verfügbar, CompactPCI PlusIO ist mit 6U praktisch nicht verfügbar und ist daher bei der Systemübersicht (Tabelle 1) nicht berücksichtigt.

Tabelle 1: Systemvergleich modularer Architekturen
Tabelle 1: Systemvergleich modularer Architekturen
(ELMA)

Wie werden Karten sicher ausgetauscht?

Damit jeweils nur mechanisch (Stecker!) wie auch elektrisch (Pinbelegung!) passende Module eingeschoben werden können, bieten die meisten Standards eine mechanische Kartenkodierung (Keying). Bei MicroTCA-Systemen erlaubt das Stecksystem dies nicht. Daher wird hier das Keying elektronisch über das Softwareprotokoll IPMI geregelt (E-Keying). Hierbei werden die Kartendaten zunächst abgeglichen und auf Kompatibilität geprüft. Das Protokoll erlaubt zugleich, dass die Module im laufenden Betrieb ausgetauscht werden können (Hot Swap). Für VPX-basierende Systeme befindet sich mit dem VITA46.11-Standard aktuell die Spezifikation für ein IPMI in der Entwurfsphase (Working Group Draft).

Einer der ersten Ansätze zur Erweiterung bestehender modularer Architekturen mit serieller Technologie war die Erweiterung der CompactPCI Backplane mit Gigabit Ethernet in der PICMG 2.16 vor mehr als 10 Jahren. Inzwischen sind serielle Fabrics mit Gigabit Ethernet bei allen Architekturen verfügbar.

Der wirklich große Fortschritt bei den möglichen Datenraten kam jedoch erst in den letzten Jahren mit der Einführung leistungsfähigerer Stecker: Geschirmte, differenzielle und impedanzkontrollierte Steckverbinder unterstützen alle aktuellen Hochgeschwindigkeitsprotokolle wie PCI Express, Serial Rapid IO, Serial ATA. Das am häufigsten verwendete Protokoll (PCI Express) ist für alle neuen seriellen Standards verfügbar. Unterschiedlich sind hier die Anzahl der ohne zusätzlichen Switch unterstützten Links und deren Breite.

Diese reicht von einer einzelnen Lane (x1, Ultra Thin Pipe) bei CompactPCI PlusIO bis zu maximal 16 (je nach Profil) bei OpenVPX. Einheitlich unterstützen alle Standards außer CompactPCI PlusIO eine Breite von vier Lanes pro Link (x4, Fat Pipe); bei CompactPCI Serial können parallel zu den sechs x4-Links auch noch zwei Links mit acht Lanes (x8, Double Fat Pipe) betrieben werden.

Aktuell ist überall noch PCI Express Gen 2 als Standard definiert, was bei vier Lanes (x4, Fat Pipe) einer maximalen Datenrate von 16 GBit/s entspricht. Während das als Speicherschnittstelle benötigte SATA-Protokoll auf allen seriellen Systemarchitekturen vertreten ist, findet man das typische PC-Interface USB als Fabric-Protokoll nur auf den beiden seriellen CompactPCI-Plattformen.

Generell hängt die maximale Anzahl an möglichen Lanes und damit auch die maximale Übertragungsbandbreite des Systems davon ab, wie viele differenzielle Paare der jeweilige Steckverbinder unterstützt. Natürlich können auch weitere verfügbare (User definable) Pins zum Aufbau zusätzlicher Verbindungen bzw. Lanes genutzt werden. Dann aber leidet die Kompatibilität der einzelnen Baugruppen. Hier zeigt sich ein großer Vorteil von VPX/OpenVPX mit seinen vielen Signalpaaren und den daraus entstehenden, schier unbegrenzten Möglichkeiten, die allerdings bei OpenVPX (VITA 65) aus Gründen der Kompatibilität auf eine begrenzte Anzahl an Profilen eingeschränkt werden.

Unterschiedliche Konzepte und Topologien der Standards

CompactPCI PlusIO (Bild 3) hat für alle seriellen Schnittstellen eine einfache Sternstruktur mit dem Systemboard im Mittelpunkt. Die Anzahl der Schnittstellen ist durch die Architektur stark limitiert. Andererseits ermöglicht die Abwärtskompatibilität zu CompactPCI eine sanfte Migration zu einer Highspeed-Architektur. Typischerweise wird diese Brückenfunktion verwendet, wenn bereits vorhandene Schnittstellenkarten mit einigen neuen High-Performance-Modulen gekoppelt werden, um die Leistungsfähigkeit bestehender Produkte zu erhöhen.

Mehr Highspeed-Schnittstellen sind verfügbar, wenn der Schritt zur rein seriellen Systemarchitektur CompactPCI Serial komplett erfolgt ist. CompactPCI Serial (Bild 4) ist der jüngste Standard und kann auch ohne zusätzlichen Switch einfach per Gigabit Ethernet, PCI Express, SATA mit bis zu acht weiteren Boards verbunden werden und bietet darüber hinaus als einziges System dazu auch noch USB 3.0 an. In einer Standard-Backplane werden alle Schnittstellen in einer Sterntopologie vom Systemslot aus zu den Peripheriekarten verbunden. Lediglich Ethernet kann optional als Full Mesh ausgelegt werden, um eine Direktverbindung aller Module zu ermöglichen. Die dadurch entstehende Struktur erlaubt damit den Aufbau eines Rechnersystems, das Peripherie an eine CPU anbindet, und gleichzeitig können mehrere Single Board Computer über ein Netzwerk verbunden werden.

VXS (Bild 5) ist durch Hinzufügen serieller Links zum bewährten VME64x-Bus entstanden: Hierzu wird ein konventioneller Steckverbinder durch einen Highspeed-Steckverbinder ersetzt. Bei dieser Architektur gibt es keinen speziellen System-Slot, sondern es wird zwischen Switches und Payload-Boards unterschieden. Mit passenden Backplanes und Switches können viele Topologien wie Star, Dual-Star und beliebige Mesh-Struktur mit insgesamt bis zu 16 Payload-Boards und zwei Switches realisiert werden. Es können per Distributed Switching auch einfache Systeme mit Ring- oder fester Mesh-Struktur aufgebaut werden.

VXS bietet eine breite Vielfalt an Möglichkeiten; Topologie und Funktion eines VXS-Systems hängen hier wesentlich von der jeweils verwendeten Backplane ab. Nachteilig wirken sich die geringe Anzahl an verfügbaren seriellen Lanes und die dadurch beschränkte Bandbreite sowie die (wegen der VM64x-Kompatibilität) ausschließliche Verfügbarkeit als 6U-Format aus. Zu beachten ist, dass bisher nur das SRIO-Protokoll als VITA-Standard ratifiziert wurde. Trotz Einsatz im Markt, befinden sich andere Protokolle wie PCI Express, Gigabit Ethernet und 10 Gigabit Ethernet dagegen noch im Working Group Draft-Status.

OpenVPX (VITA 65, Bild 6) wurde auf Grund von Kompatibilitätsproblemen aus dem VPX-Standard (VITA 46) weiterentwickelt. Bei VPX gab es durch zu große Gestaltungsfreiräume eine schier unendliche Vielzahl von Konfigurationsmöglichkeiten, so dass es schwierig war, kompatible Module oder auch nur Second Sources zu finden. OpenVPX als wirklich offener Standard wirkt dieser Problematik entgegen, indem die Anzahl der Konfigurationen (Profile) für 3U- und 6U-Backplanes und Module eingeschränkt und jedes Profil genauestens spezifiziert wird.

So hat der Entwickler nicht nur eine Entscheidungshilfe bei der Auswahl von Backplanes, Modulen und Vernetzungstopologien, sondern kann sich auch aus einem breiten Pool von kompatiblen Komponenten bedienen. Auch VPX/openVPX-Systeme lassen sich per Distributed Switching als Mesh oder Ring ohne zusätzlichen Switch betreiben. Mit Switch sind Star- und Dual-Star-Topologien (in bestimmten Profilen auch Partial Mesh) verfügbar. Ein System-Management hierfür befindet sich derzeit als VITA 46.11-Standard in der Working Group Draft Phase und soll bald ratifiziert werden.

Die aus dem Telekommunikationsstandard AdvancedTCA hervorgegangene MicroTCA-Architektur (Bild 7) verfügt über viele Alleinstellungsmerkmale: Sie verfügt derzeit als einzige über ein langjährig bewährtes Managementprotokoll (IPMI), das elektronisches Keying, Hot-Swap und optional vollständige Redundanz ermöglicht. Die Frage nach der Erweiterung mit einem Switch ergibt sich hier nicht: MicroTCA-Systeme sind grundsätzlich mit mindestens einem MCH (Management Control Hub) ausgerüstet, der Management- und Switchfunktionalität zur Verfügung stellt. Wie bei den anderen Standards auch, sind verschiedene Backplane-Varianten möglich und es lassen sich unterschiedliche Topologien und Konfigurationen realisieren. Standardmäßig kann ein MicroTCA-System bis zu zwei MCHs und maximal zwölf AMC-Module aufnehmen.

Stecker und Pins für schnelle Datenübertragung

Die kritischsten Bauteile für die Datenübertragung zwischen den einzelnen Modulen sind und bleiben die Steckverbinder zwischen Board und Backplane. Hier kommen für die serielle Hochgeschwindigkeitsübertragung neu entwickelte, hochwertige Stecker zum Einsatz. Auch wenn sich die unterschiedlichen Steckverbinder in ihrer Implementierung zum Teil deutlich unterscheiden, so erfüllen sie doch alle ihren Zweck: fehlerfreie Datenübertragung mit geringem Übersprechen über geschirmte, differenzielle Signalpaare, um Geschwindigkeiten von 6 GBit/s und darüber hinaus zu ermöglichen.

Damit werden die Anforderungen z.B. für PCI Express Gen3 (8 GBit/s), SATA3 (6 GBit/s) und SRIO II (6,25 GBit/s) von allen Stecksystemen problemlos erfüllt. Interessanter für den Anwender dürfte die Anzahl der User-Definable Pins sein und ob diese für die serielle Hochgeschwindigkeitsübertragung mit differenziellen Paaren geeignet sind.

Bei den Brückenlösungen CompactPCI PlusIO und VXS ist dies nicht der Fall. Hier stehen nur Low-Speed-Pins zur Verfügung: 105 Pins auf den CompactPCI-Peripheriekarten bzw. 110 Pins im VME64x-Bereich. Bessere Möglichkeiten schaffen hier die rein seriellen Lösungen. CompactPCI Serial bietet jeweils 112 differenzielle Paare und bei der 6U-Lösung noch einen zusätzlichen, kundenspezifischen Stecker für weitere Signale. Bei MicroTCA sind es 16 differenzielle Paare im Single-Formfaktor und bis zu 30 Paare auf dem Zusatzsteckverbinder im Double-Formfaktor. VPX/OpenVPX verfügt über bis zu 56 freie, differenzielle Paare bei 3U und 184 Paare bei 6U; die exakten Werte hängen vom jeweils gewählten Profil und den damit ungenutzten Pins ab.

Gehäusevarianten und Stromversorgungen

Alle Systemarchitekturen haben gemein, dass es sie nicht nur in der 19"-Version, sondern auch als besonders widerstandsfähige Rugged-Varianten und mit allen drei Kühloptionen (Konvektion/Konduktion/Flüssig) gibt (Bild 8 a,b,c). In VITA 48 für VPX/OpenVPX und MicroTCA.1-3 werden Kühlungskonzepte für die verschiedensten Anwendungen ausführlich spezifiziert. Alle Architekturen sind auf 12 V Versorgungsspannung ausgelegt, hinzu kommen noch systemspezifische Hilfsspannungen von 5 V für Standby bei CompactPCI Serial bzw. 3,3 V für die Management-Funktionen bei MicroTCA.

VPX/OpenVPX-Systeme können auch mit 5 oder 3,3 V (3U) versorgt werden. Die abwärtskompatiblen Systeme CompactPCI PlusIO und VXS benötigen zusätzlich noch -12; 5 und 3,3 V. Die vorgegebenen Leistungsbudgets liegen in der Größenordnung von bis zu 60 W für 3U und 120 W bei 6U bzw. bis zu 48 W bei Single und 80 W bei Double-Modulen.

Somit steht dem Einsatz von aktuellen Hochleistungs-Multicore-Prozessoren mit bekanntlich hohen Verlustleistungen nichts entgegen. Die dabei entstehenden Verlustleistungen zeigen aber auch, dass solche Hochgeschwindigkeitsarchitekturen ihre volle Performance in der Praxis nur durch ausgeklügelte Kühlkonzepte bei einer vorgeschalteten thermischen Simulation entfalten können.

* * Aksel Saltuklar... ist CTO und Leiter R&D bei ELMA Electronic in Pforzheim.

(ID:37537290)