Benchmark tussen x86 en ARM cloud servers

ARM, vooral gekend van het gebruik in mobiele apparaten en de M2-CPU van Apple, maakt een stevige opmars naar servers. Zo ontwierp Fujitsu in 2020 de (toenmalig) 's werelds krachtigste supercomputer "Fugaku" wat draait op ARM CPU's.

ARM vs x86

CPU's verschillen door hun instructieset architectuur (Instruction Set Architecture, ISA). CPU's van Intel en AMD zijn gebaseerd op de x86 ISA, terwijl chips gebaseerd op het ontwerp van Arm, gebaseerd zijn op de ARM ISA. ISA's zijn onderling niet compatibel. Software die geschreven is voor de x86 ISA, zal niet werken op de ARM ISA en omgekeerd.

De x86 ISA werd eind jaren 1970 door Intel ontworpen. Na een juridisch debacle zijn Intel en AMD overeengekomen dat AMD ook het recht heeft om zelfs chips op de x86 ISA te ontwikkelen. AMD ontwikkelde daarop de eerste 64-bit variant van x86; ook toen kwamen beide fabrikanten overeen dat Intel 64-bit varianten van de x86 chipset mag produceren. Enkel het kleine Taiwanese VIA is de derde firma wereldwijd met de x86-licentie die chips mag ontwikkelen. Daardoor zien we vooral alleen Intel en AMD CPU's in de rekken.

ARM (Advanced RISC Machines) werd in de jaren 1980 ontwikkeld door Acorn; ondertussen door Arm. Arm ontwikkelt ARM CPU-ontwerpen en verkoopt die ontwerpen onder licentie aan derden. Arm zelf produceert dus zelf geen ARM CPU's. Zo hebben bv. Samsung, MediaTek, Apple en Qualcomm een ARM ISA licentie en bouwen zij hun eigen ARM CPU's.

Hardwarefabrikanten van servers moeten een keuze maken tussen de x86 en de ARM ISA. Tot nu viel de keuze meestal op x86, want daarvoor is de meeste software geschreven. Er kan gewerkt worden met emulators om x86 software te laten draaien op ARM chips, maar het is beter om dat te vermijden omdat dat ten koste gaat van performantie.

Het technisch verschil

De x86 ISA is gebaseerd op het CISC principe (Complex Instruction Set Computing). ARM processors zijn gebaseerd op het RISC principe (Reduced Instruction Set Computing). Daar zit het wezenlijk technisch verschil. x86 is in staat om complexe instructies per klokcyclus uit te voeren; waartegen ARM slechts een (1) instructie per klokcyclus kan uitvoeren.

Voor die complexe taken beroept de x86 ISA zich op hardwarematige transistors en schakelingen. ARM heeft die extra hardware niet nodig. ARM heeft wel meer RAM-geheugen nodig dan x86; maar de lage kost van RAM-geheugen vandaag de dag doet dat rechtvaardigen - in tegenstelling tot pakweg een decennium geleden. ARM met RISC heeft dus het voordeel om gebruik te kunnen maken van zuinigere en eenvoudigere hardware.

Een verdere gedetailleerde uitleg van het verschil tussen de ARM en x86 zou ons te veel afleiden van deze benchmark. Maar heb je daar interesse in, bekijk dan zeker onderstaande video van Gary Explains (Engels, 20min.). Ook het artikel 'ARM vs x86: What's the difference' van Red Hat geeft een beknopte samenvatting.

ARM en cloud servers

Cloud servers die we vinden bij partijen zoals Digital Ocean, Vultr, Linode (Akamai) en UpCloud bieden virtuele servers aan op x86 architectuur CPU's. Hetzner biedt naast x86 ook ARM cloud servers aan. Omwille van onder andere het lager stroomverbruik (bijgevolg minder warmte en dus minder koeling nodig), kunnen zij deze servers ook aanbieden tegen een lagere prijs dan de x86 tegenhangers.

In 2018 lanceerde hyperscaler AWS hun eerste ARM cloud servers 'AWS Graviton' met hun zelfontwikkelde ARM CPU. Ook Google Cloud biedt sinds 2022 met hun product 'Tau T2A' ARM cloud servers aan. Hetzner kwam in 2023 als eerste provider in het middensegment op de proppen met ARM servers op basis van Ampere Altra.

Prijssetting

We hebben een aantal ARM cloud servers van AWS, Google en Hetzner erbij genomen voor een prijsvergelijking. Een exacte vergelijking maken is niet mogelijk omdat de combinatie vCPU en RAM niet precies overeen komen; maar het geeft een idee. Qua kostprijs hebben we USD's omgezet naar Euro's. Prijzen zijn van augustus 2023 en zijn exclusief btw.

Wat we vergelijken

Gezien het grote prijsverschil tussen AWS, Google Cloud en Hetzner, vergelijken we in deze benchmark enkel cloud servers van Hetzner. We vergelijken Hetzner's x86 aanbod met hun ARM cloud servers. We vergelijken drie x86 virtuele machines (VM's) met drie gelijkaardige ARM VM's. Prijzen zijn van augustus 2023 en zijn exclusief btw. Alle VM's hadden een 'gedeelde CPU' en lokale opslagruimte.

We waren benieuwd of we een verschil in performantie konden meten tussen de x86 en de ARM cloud servers.

Hoe we de virtuele machines vergeleken hebben

We voerden de benchmarks uit op een Ubuntu 22.04 LTS installatie. We installeerde alle updates, maar voerde geen aanpassingen uit. Voor de benchmarks gebruikten we Phoronix Test Suite v10.8.4. Wanneer er tussen de testen een standaardafwijking (deviation) groter dan 2,5% geconstateerd werd, dan werd er een bijkomende test gedaan totdat de standaarddeviatie onder de 2,5% daalde, met een maximaal van 40 tests. Als resultaat werd telkens de gemiddelde waarde genoteerd.

We voerde onderstaande benchmarks uit, met een focus op het systeem, een single en multi core CPU, het ram-geheugen en de opslagruimte. Omdat we in deze benchmark ons focussen op de CPU, voerden we drie verschillende multi core CPU tests uit.

• pts/apache (focus op het systeem). Dit is een test van de Apache HTTPD-webserver. Dit benchmark-testprofiel voor de Apache HTTPD-webserver maakt gebruik van het Golang "Bombardier"-programma voor het faciliteren van HTTP-verzoeken gedurende een vaste periode met een configureerbaar aantal gelijktijdige clients.
• pts/hint (focus op single core CPU). Deze test voert de Energy's Ames Laboratory Hierarchical INTegration (HINT)van het Amerikaanse ministerie van Energie uit.
• pts/stockfish (focus op multi core CPU). Dit is een test van Stockfish, een geavanceerde open-source C++11-schaakbenchmark die tot 512 CPU-threads kan opschalen.
• pts/openssl (focus op multi core CPU). OpenSSL is een open-source toolkit die SSL en TLS protocollen implementeert.
• pts/compress-7zip (focus op multi core CPU). Dit is een test van 7-Zip compressie/decompressie met zijn geïntegreerde benchmarkfunctie.
• pts/stream (focus op het geheugen). Dit is een benchmark van Stream, de populaire benchmark voor systeemgeheugen (RAM).
• pts/postmark (focus op de opslagruimte). Dit is een test van de PostMark-benchmark van NetApp, die is ontworpen om het testen van kleine bestanden te simuleren, vergelijkbaar met de taken die worden uitgevoerd door web- en mailservers. Dit testprofiel stelt PostMark in staat om 25.000 transacties met 500 bestanden tegelijkertijd uit te voeren met een bestandsgrootte tussen 5 en 512 kilobytes.

Resultaten

Voor de duidelijkheid hebben we steeds de x86 en de ARM VM met dezelfde specificaties (Cores en Memory) in een opeenvolgende kolom geplaatst. We hielden dus telkens deze volgorde van kolommen aan:

• CX21 (x86 2C2M) (2 Cores en 2 GB Memory)
• CAX11 (ARM 2C2M)
• CPX31 (x86 4C8M)
• CAX21 (ARM 4C8M)
• CPX41 (x86 8C16M)
• CAX31 (ARM 8C16M)

Benchmark: pts/apache

Focus op het systeem. Een hogere score is beter.

Hier zien we dat de x86 VM's vanaf 4 cores duidelijk beter scoren dan de ARM VM's.

Benchmark: pts/hint

Focus op single core CPU. Een hogere score is beter.

Voor een single core CPU test scoren de ARM CPU's merkelijk beter.

Benchmark: pts/stockfish

Focus op multi core CPU. Een hogere score is beter.

Zoveel te meer cores, zoveel te beter scoren de x86 machines in deze multi core CPU test.

Benchmark: pts/openssl

Focus op multi core CPU. Een hogere score is beter.

Uitgezonderd voor de SHA256 en SHA512 test, scoren de x86 machines beter in deze multi core CPU test.

Benchmark: pts/compression-7zip

Focus op multi core CPU. Een hogere score is beter.

Voor het comprimeren zijn alle CPU's sterk aan elkaar gewaagd. Voor het decomprimeren winnen de ARM CPU's met een kleine voorsprong.

Benchmark: pts/stream

Focus op het ramgeheugen. Een hogere score is beter.

De ARM machines winnen in de geheugentest (met uitzondering van de Copy-test) met ruime voorsprong.

Benchmark: pts/postmark

Focus op de opslagruimte. Een hogere score is beter. Iedere VM gebruikte ext4 als bestandssysteem.

Voor de VM's met 4 en 8 CPU cores halen de x86 servers het van de ARM machines met een kleine voorsprong.

Conclusie

Van iedere testscore hebben we een procentuele vergelijking gemaakt. Van al die scores hebben we een totale procentuele verdeling gemaakt om zo te komen tot een eindvergelijking. Die zie je in onderstaande grafiek.

We zien dat de 2C2M VM's ongeveer gelijk scoren. Als we kijken naar de 4C8M en de 8C16M VM's, dan is de x86 de winnaar; maar daartegenover staat het dubbel van de kostprijs.

Als Apache je workload is, dan lijkt het nog steeds beter om te kiezen voor x86 CPU's. Maar vereist je applicatie daarentegen veel geheugen, dan neem je genoegen met ARM machines. Is je applicatie CPU-intensief, dan doe je best een test om te kijken of je verder bouwt op x86 of op ARM cloud servers.

Zelf proberen?

Wil je zelf een ARM server ervaren? Via deze (affiliate) link van Hetzner krijg je alvast 20 euro startbudget. Veel succes en plezier gewenst!