CERN: Teilchenbeschleuniger wird mit Open Source VME-CPU-Boards aufgerüstet

| Autor / Redakteur: Gunther Gräbner, Grzegorz Daniluk und Adam Wujek * / Margit Kuther

Bild 1: Rund 900 VME-basierende Crates werden bei CERN eingesetzt, um die Beschleuniger der verschiedenen Experimente zu steuern.
Bild 1: Rund 900 VME-basierende Crates werden bei CERN eingesetzt, um die Beschleuniger der verschiedenen Experimente zu steuern. (Bild: CERN)

Der Teilchenbeschleuniger „Large Hadron Collider“ aus dem Forschungszentrum CERN ging 2008 in Betrieb. Ein Update soll nun den betagten VME-Bus beschleunigen. MEN stellt sich der Herausforderung mit einer FPGA-basierenden PCIe-VME64x-Bridge mit Intels Server-CPU Xeon D 1519.

Das CERN ist das weltweit größte Forschungszentrum auf dem Gebiet der Teilchenphysik, dessen Grundstein bereits im Jahr 1954 gelegt wurde. Am bekanntesten ist wohl der 27 Kilometer lange Teilchenbeschleuniger „Large Hadron Collider“ (LHC), der 2008 in Betrieb genommenen wurde. Hier wird beispielsweise der Frage nachgegangen, warum unser Universum hauptsächlich aus Materie und nicht zu gleichen Teilen auch aus Antimaterie besteht. Nicht nur der Teilchenbeschleuniger, auch die vorhandene Infrastruktur ist über Jahre hinweg instand zu halten. Etwa der in die Jahre gekommene VME-Bus (Versa-Module-Eurocard-Bus), ein Multiuser-Bussysstem für die Steuerungstechnik.

Der Embedded-Computing-Spezialist MEN Mikro Elektronik hat ein VME-Board mit Intel-Xeon-D-Prozessor für das CERN entwickelt. Dank FPGA-basierender Open-Source PCIe-zu-VME64x-Bridge kann das bestehende Equipment für die Teilchenbeschleuniger nun mit neuester Prozessorperformance aufgerüstet werden. Der Einsatz von VME ist bis zum Ende der geplanten Betriebszeit des LHC im Jahre 2032 vorgesehen.

Flexible Crates für die Beschleunigersteuerung

In den zahlreichen Teilchenbeschleunigern des CERN werden seit Jahren tausende Einsteckkarten, sogenannte Crates genutzt. Sie finden sich in der Infrastruktur unterschiedlichster Teilchendetektoren und werden meist für die Triggerelektronik und die Datenerfassung eingesetzt. Die Crates nutzen eine klassische Slot-basierende Konfiguration mit Backplane und frei zusammenstellbaren Baugruppen. Modulare Elektroniksysteme sind für wissenschaftliche Einrichtungen wie dem CERN prädestiniert, da mit solchen modularen Systemen individuelle Schaltungen auch in anderen Konfigurationen wiederverwendet werden können, was einmal getätigte Investitionen langfristig sichert.

Eine Bauart dieser Crates basiert auf dem VME-Bus, der bereits 1981 spezifiziert wurde und seitdem kontinuierlich weiterentwickelt wird. Aktuell sind 900 solcher Crates bei CERN im Einsatz (Bild 1). Sie kommen primär in den Steuerungen der Beschleuniger sowie für die Datenerfassung zum Einsatz. Für letzteres selbstverständlich in anderer Konfiguration. Im LHC-B-Experiment dienen sie beispielsweise dazu, Teile der Rohdaten von rund einer Million Sensoren vorzuverarbeiten, damit den Wissenschaftlern nur noch die relevanten Daten übermittelt werden, die sie für ihre Analysen benötigen. Weitere Crates finden sich zudem in zahlreichen weiteren CERN-Experimenten wie ATLAS, CMS, ALICE, ISOLDE und TOTEM, in denen sie zum Teil komplett andere Aufgaben erfüllen, da sie als modulares Backplane-System extrem flexibel einsetzbar sind.

Neue Crates für neue Herausforderungen

Da sich bei jedem Experiment die Aufgabenstellungen verändern, werden auch immer wieder neue Crate-Konfigurationen entwickelt, die auch mit neuester Rechnerperformance bestückt werden sollen. So wurden allein für die Beschleuniger im Jahr 2016 rund 50 neue Crates in Betrieb genommen. Zudem ist bereits heute schon abzusehen, dass während des geplanten ‚Long Shutdowns‘ von 2019 bis 2020 – der zur Instandsetzung und Rundumerneuerung des Equipments genutzt wird – rund 200 neue Crates installiert werden sollen.

Problemstellung ist für die VME-basierenden Systeme jedoch die Tatsache, dass die Prozessoren die Kommunikation über die VME-Bustechnologie nicht mehr nativ unterstützen. Prozessorboards müssen deshalb also eine PCIe-VME64x-Bridge zum VME-Bus bieten. Diskrete Bauelemente waren jedoch nur noch von wenigen Herstellern am Markt verfügbar und der Hauptlieferant hatte die Verfügbarkeit des aktuell im Einsatz befindlichen Bauelements (TSI148) abgekündigt. Welche Dimension dieses Problem hat, wird schnell klar, wenn man die Anzahl der im CERN verbauten Singleboard-Computer (SBC) mit VME-Bus betrachtet: Aktuell sind mehr als 900 SBCs schon alleine von MEN Mikro Elektronik mit Intel Core Duo und Core 2 Duo installiert. Es geht also durchaus um relevante Stückzahlen der hochwertigen VME-Boards – jedoch rechtfertigt dieses Volumen alleine sicherlich nicht, extra dafür ein diskretes Bauelement weiter zu fertigen. Deshalb suchte die Beams Department / Control Group des CERN – kurz BE/CO – im Zuge einer neuen Ausschreibung nach nachhaltigen Alternativen für die kommenden Jahre.

Neue Bridging-Lösung zum VME64x-Bus erforderlich

Drei mögliche Optionen wurden für das Bridging von PCI/PCIe auf VME64x spezifiziert. Das auszuwählende Unternehmen sollte entweder über einen ausreichend großen Bestand an TSI148-Chips verfügen, um die im Vertrag spezifizierte Anzahl von Boards fertigen zu können oder den Tundra Universe II, den Vorgänger des TSI148, nutzen oder FPGA-Technologie einsetzen. In diesem Fall sah CERN vor, dass der Anbieter die kompletten VHDL-Quellen das FPGA-Designs über eine GPL2-or-later-Lizenz öffentlich verfügbar macht. Neben den beiden ersten naheliegenden Optionen wusste CERN aber auch, dass es Firmen gibt, die bereits proprietäre Implementierungen von VME-Bridges über FPGAs ausgeführt haben.

So verfügten beispielsweise frühere Generationen von SBCs, die am CERN schon vor TSI148-basierten Boards verwendet wurden, über einen PowerPC-Prozessor mit einem FPGA zur Anbindung an den VME-Bus. Daher hoffte CERN mit der letzten Option in der Ausschreibung, dass mindestens eines dieser Unternehmen bereit sein würde, ihre Implementierung auch als Open-Source-Projekt umzusetzen. Allerdings hat das CERN keine dieser Optionen präferiert, um für alle Bewerber faire Konditionen zu schaffen. Letztlich wurde das Unternehmen mit der besten Preisstellung für den Vertrag ausgewählt.

PCIe-VME64x-Bridge nun als Open-Source verfügbar

Das Ergebnis dieser Ausschreibung führte zu einer Lösung auf FPGA-Basis, sodass alle VHDL-Quellen nun unter der GPL3-oder-later-Lizenz verfügbar sind, während das Linux-Treiberpaket unter der GPL2-oder-later-Lizenz auf der PCIe-to-VME-Bridge-Projektseite des Open Hardware Repository verfügbar ist. Die Open-Source-Veröffentlichung der PCIe-zu-VME-Bridge ist nicht nur für das CERN ein großer Schritt, sondern auch für alle anderen Institutionen weltweit, die VME nutzen. Vor allem sind die CERN-Ingenieure dadurch nicht mehr von einem bestimmten Lieferanten abhängig. Selbst wenn der aktuell verwendete FPGA-Chip obsolet werden sollte, ermöglicht der Zugriff auf die vollständigen VHDL-Quellen die Portierung der PCIe-zu-VME-Brücke auf einen anderen FPGA (Bild 2).

Bild 2: FPGA Kompetenz in Building-Block: MEN bietet eine Vielzahl unterschiedlicher FPGA-Implementierungen für standardisierte Embedded-Computertechnologie und kundenspezifische Plattformen an.
Bild 2: FPGA Kompetenz in Building-Block: MEN bietet eine Vielzahl unterschiedlicher FPGA-Implementierungen für standardisierte Embedded-Computertechnologie und kundenspezifische Plattformen an. (Bild: MEN)

Dank der Tatsache, dass das Design als Open Source verfügbar ist, kann nun auch jedes Institut oder Unternehmen nicht nur ein aktuelles Produkt mit dieser Bridge kaufen, sondern auch jeden anderen VME-SBC mit derselben VME-Bridge ausrüsten. Die Verwendung derselben VME-Bridge bedeutet auch, dass alle Institute und Unternehmen dieselben Linux-Kerneltreiber und dieselbe User-Space-VME-API nutzen können. Dies sollte zudem auch allen Entwicklern in der VME-Welt zukünftig eine effizientere Zusammenarbeit ermöglichen und mehr Freiheit bieten, Linux-Kernel-Treiber für die VME-Slaveboards, die vom CERN entwickelt werden, zu teilen und damit höchst effizient wiederzuverwenden.

MEN ist der Zulieferer der neuen FPGA-Logik

Das Unternehmen, das bereit war, gemeinsam mit dem CERN den enormen Aufwand bei Entwicklung, Test und Validierung für eine geeignete PCIe-Gen-3-Bridge zu VME-64-Bit-Systemen zu investieren, war MEN Mikro Elektronik. Das Unternehmen arbeitete nicht nur bei der Validierung und den Tests mit dem CERN-Team zusammen, sondern auch bei der Open-Source-Veröffentlichung der PCIe-zu-VME-Bridge, die die Lese- und Schreibvorgänge im PCIe-Adressraum zum Lesen und Schreiben von Transaktionen auf dem VME-Bus übersetzt. Es fungiert auf der einen Seite als PCIe-Endpunkt und auf der anderen als VME-Busmaster. Die Bridge kann VME-Einzelzyklen und -Blocktransfers erzeugen. Aktuell werden folgende Zugriffsarten unterstützt:

  • VME-Einzelzyklen: A16, A24, A32 mit jeder D8-, D16- oder D32-Datenbreite
  • VME-Blocktransfers (BLT): A24D16, A24D32, A32D32 plus die gemultiplexten A24D64 und A32D64-Blocktransfers (MBLT)
  • CR/CSR-Konfigurationsadressraum

Die VME-Blocktransfers werden von einer integrierten Direct-Memory-Access-(DMA)-Engine ausgeführt. Dabei werden die Datenblöcke zwischen dem Systemspeicher und dem VME-Bus unter Umgehung der CPU übertragen. Zusätzlich ist es auch möglich, DMA mit Einzelzyklen zu verwenden, was besonders für VME-Karten nützlich ist, die den BLT-Zugriffsmodus nicht unterstützen. Dies ist im Allgemeinen eine schnellere und bessere Möglichkeit für den Austausch mehrerer Datenblöcke, da die CPU so ihren normalen Betrieb fortsetzen kann, bis die DMA-Engine ihre programmierte Aufgabe abgearbeitet hat. Die Bridge unterstützt auch einige Funktionen, die in den VME64x-Erweiterungen hinzugefügt wurden. So kann sie die geografischen Adresspins verwenden und eine spezielle Art von A24-Zugriff generieren, um den CR/CSR-Konfigurationsspeicher von VME-Slaves in demselben Crate auszulesen und auch in ihn zu schreiben.

Obwohl derzeit keiner der schnelleren Übertragungsmodi (2eVME, 2eSST) unterstützt wird, sind sie dennoch zukünftig integrierbar, da kommende VME-Slaves diese benötigen könnten. Diese Fragestellung der Umsetzung wird bereits bei MEN evaluiert. Darüber hinaus kann das von MEN implementierte VME-Busmodul sowohl als VME-Master als auch als VME-Slave fungieren. Damit kann es nicht nur auf VME-SBCs, die als Master betrieben werden, eingesetzt werden, sondern auch auf I/O- und anderen Peripherieboards, die als Slaves angebunden sind. In der aktuellen Anwendung auf dem VME-SBC wird nur die VME-Master-Funktionalität genutzt. Dabei belegt das gesamte Bridging-Design aktuell nur etwa 30% des FPGA-Bereichs des Intel Cyclone, sodass noch genügend Platz zur Verfügung steht, um zusätzliche neue Funktionen wie 2eVME- und 2eSST-Transfers zu implementieren.

Marktdaten: Der Markt der VME-Boards ist zwar rückläufig. Er soll laut IHS jedoch noch immer einen Umsatz von mehr als 200 Mio. USD pro Jahr auf Boardlevel erwirtschaften, was einem Absatz von mehr als einer viertel Million Boards entspricht, setzt man rund 750 USD pro Board als Durchschnittspreis an
Marktdaten: Der Markt der VME-Boards ist zwar rückläufig. Er soll laut IHS jedoch noch immer einen Umsatz von mehr als 200 Mio. USD pro Jahr auf Boardlevel erwirtschaften, was einem Absatz von mehr als einer viertel Million Boards entspricht, setzt man rund 750 USD pro Board als Durchschnittspreis an (Bild: MEN)

Die Langzeitverfügbarkeit der PCIe-zu-VME-Bridge ist gewährt

Mit der Veröffentlichung der Spezifikation in der Inbetriebnahme der ersten Boards mit der neuen FPGA-basierenden Bridge für PCIe zu VME64 hat das CERN einen wichtigen Meilenstein für die Langzeitverfügbarkeit seiner VME-basierenden Crates für die Datenerfassung und Beschleuniger-Steuerung erzielt. Diese Referenz ist auch ein Meilenstein für alle anderen Nutzer von VME-basierenden Systemen, da auch für sie die Langzeitverfügbarkeit passender Logik garantiert ist. Aktuellen Schätzungen zufolge wird der Markt mit neuen Boards im Jahr 2020 immer noch mehr als 200 Millionen US-Dollar umsetzen.

Im Rahmen dieses Projekts hat MEN Mikro Elektronik neben seiner VME-CPU-Board-Kompetenz auch seine FPGA-Expertise für standardisierte Embedded-Computer-Technologie unter Beweis gestellt. Kunden profitieren von der PCIe-zu-VME-Bridge von einer langfristig sichergestellten Verfügbarkeit bestehender Installationen. Auf Kundenwunsch kann MEN auch vergleichbare Lösungen anbieten, etwa PCIe-zu-PCI- oder sogar PCIe-zu-ISA-Bridges, die auch Legacy-Hardware von OEMs langfristiger verfügbar machen und so den Return on Investment steigern. Neben Bridging-Lösungen für interne Legacy-Busse für eine höhere Langzeitverfügbarkeit bietet das Unternehmen auch FPGA-basierende Bridges zu externen Schnittstellen und Bussen wie UART und CAN sowie komplette Controller beispielsweise für QSPI mit SPI. OEM-Kunden profitieren in diesem Anwendungsszenario von einer extrem kosteneffizienten Variantenbildung. Ein einziges CPU-Board-Design kann so für ganz unterschiedliche Einsatzszenarien genutzt werden. Selbst bei kleinen Losgrößen lassen sich so deutlich mehr Applikationen bedienen, beispielsweise Systemlösungen mit unterschiedlichen Feldbussen oder Industrial-Ethernet-Varianten. Oder auch Lösungen mit Migrationsanforderungen, etwa in der Bahntechnik oder in der Aeronautik. Der OEM kann dann eine einzige Hardwareplattform in allen Lösungsvarianten einsetzen, was sowohl den Service als auch die Dokumentation und Zertifizierung deutlich erleichtert.

Bild 3: Der VME-SBC A25 von MEN mit FPGA-basierender PCIe-VME64x-Bridge ist mit Intels Xeon D-1500-Server-CPU bestückt und bietet ein reichhaltigen Featureset.
Bild 3: Der VME-SBC A25 von MEN mit FPGA-basierender PCIe-VME64x-Bridge ist mit Intels Xeon D-1500-Server-CPU bestückt und bietet ein reichhaltigen Featureset. (Bild: MEN)

Das M25 von MEN ist das erste Board mit der neuen Bridge

Das erste Board im CERN, das mit dem neuen FPGA-basierenden Bridge zum VME-Bus bestückt ist, ist das A25 von MEN Mikro Elektronik (Bild 3). Es ist mit Intels Xeon-D-1519-Server-CPU bestückt und verbindet mit dem neuen FPGA eine hohe Kosteneffizienz mit einem reichhaltigen Featureset. Darüber hinaus sorgt das A25-Board auch für eine Reduzierung der Systemgröße, einen zuverlässigen Langzeitbetrieb ohne Lüfterkühlung und bietet zahlreiche Computingfunktionen bereits onboard.

Mit zwei USB-3.0-Ports, bis zu drei Gigabit-Ethernet-Ports und zwei RS232-COMs an der Vorderseite bietet das Board die entscheidenden Merkmale vielseitiger Industriecomputer. Es ist mit bis zu 8-GByte-DDR4-ECC-SDRAM und Flash-Speicher ausgestattet und deckt den Bedarf nach flexiblen Massenspeichern durch seine microSD- und mSATA-Steckplätze ab. Zudem kann die A25 mit einer XMC/PMC-Mezzanine-Karte und einer PCI-Express-Mini-Karte ausgestattet werden, die zusätzliche Frontanschlüsse übe rXMC/PMC für Funktionen wie Grafik, Massenspeicher oder zusätzliche Ethernet-Ports bereitstellen. Der PMC-Steckplatz unterstützt Module bis zu 64-Bit/133-MHz PCI-X, während der XMC-Steckplatz über einen PCI Express x8-Link angebunden ist.

Die modulare Erweiterung mit I/O-Mezzaninen auf einem Singleboard-Computer ermöglicht es, maßgeschneiderte Systeme aus offenen Standardkomponenten zu konfigurieren, was die Integrationszeit und -kosten reduziert. Das robuste Board A25 unterstützt den Betrieb im erweiterten Temperaturbereich von -40 °C bis 60 °C und widersteht auch schweren Erschütterungen und Vibrationen, da alle Komponenten aufgelötet sind. Dies ist eine wichtige Voraussetzung für einen zuverlässigen Betrieb und eine lange Lebensdauer.

30 Jahre World Wide Web – ein Weg in 10 Etappen

30 Jahre World Wide Web – ein Weg in 10 Etappen

12.03.19 - Vor 30 Jahren, am 12. März 1989, legte Tim Berners-Lee am Kernforschungszentrum CERN in Genf ein Konzept für ein auf Servern, Links und Browsern basierendes, weltweites Netzwerk vor: Das World Wide Web (WWW) war geboren. Zum Geburtstag liefern wir einen Überblick über die Meilensteine, die das Internet seither absolvierte. lesen

* Gunther Gräbner ist Product Line Manager bei MEN Mikro Elektronik.

* Grzegorz Daniluk ist Project Leader & Electronics Engineer beim CERN.

* Adam Wujek ist Low-Level Software Engineer, ebenfalls beim CERN.

Kommentar zu diesem Artikel abgeben

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45946345 / Embedded Boards & PCs)