In januari 2023 deden we een grote test tussen verschillende cloud providers. We bekeken de technische prestaties van hun cloud servers. Precies een jaar later, in januari 2024, doen we deze test opnieuw. We zijn benieuwd of er opvallende wijzigingen gebeurd zijn!

Cloud providers kunnen we opdelen in drie verschillende types: hyperscalers (Google Cloud, Amazon AWS ...), het middensegment (DigitalOcean, Linode ...) en lokale spelers (TransIP, Combell ...). We vergelijken in dit artikel opnieuw een aantal cloud providers uit het middensegment. Voor meer informatie over de verschillende types providers, lees dit blog artikel.

Wat we vergelijken

Opnieuw maken we in deze blogpost een puur technische vergelijking op basis van benchmarks van vergelijkbare virtuele machines en hun maandelijkse prijs.

We deden een benchmark van cloud servers van deze providers:

• Hetzner (Duitsland)
• DigitalOcean (Verenigde Staten)
• Linode (Verenigde Staten)
• Vultr (Verenigde Staten)
• OVH (Frankrijk)
• UpCloud (Finland)
• Scaleway (Frankrijk)

Nieuwkomer in deze lijst, is het Franse Scaleway. We deden deze keer de benchmarks op telkens drie verschillende configuraties:

• Cloud servers met een gedeelde vCPU van 2 cores en 4 GB ram.
• Cloud servers met een gedeelde vCPU van 4 cores en 8 GB ram.
• Cloud servers met een dedicated vCPU van 4 cores en 16 GB ram.

In de benchmark van januari 2023 hadden we een cloud server van UpCloud opgenomen. Dit was niet correct, aangezien hun cloud servers allemaal met een dedicated vCPU werken. In de benchmarks met een gedeelde vCPU hebben we deze keer dan ook geen cloud server van UpCloud opgenomen.

Wat vergelijken we niet?

Als je zoekt naar een cloud provider, dan kijk je uiteraard niet enkel en alleen naar de prestaties van hun cloud servers en de prijs, maar ook naar hun breder aanbod. Heb je bijvoorbeeld ook block storage nodig? Of managed databases of Kubernetes? Ook zeker zo belangrijk is de bereikbaarheid en bereidwilligheid van de helpdesk. Deze items zijn eerder persoonlijk en sommige zijn moeilijk meetbaar. In deze vergelijking focussen we ons dus enkel op de performantie van deze cloud servers.

Kostprijs

Onderstaande grafiek bevat een overzicht van de kostprijs per maand voor iedere cloud server. USD werd ter vergelijking omgezet naar EUR.

In de eerste grafiek vergelijken we de prijzen van de providers van juni 2022, januari 2023 en januari 2024. De kleine verschillen van DigitalOcean en Vultr hebben eerder te maken met de wisselkoers (van 9 januari 2023) dan een echte prijsdaling.

Het verloop van de benchmark

We voerden de benchmark uit op een Ubuntu 22.04 LTS installatie waarop we alle updates installeerden. Voor de benchmarks gebruikten we Phoronix Test Suite v10.8.4. Phoronix voerde iedere test telkens drie keer uit. Wanneer er tussen de testen een standaardafwijking (deviation) groter dan 2,5% geconstateerd werd, dan werd er een bijkomende test gedaan totdat de standaarddeviatie onder de 2,5% daalde, met een maximaal van 40 tests. Als resultaat werd telkens de gemiddelde waarde genoteerd.

We voerde onderstaande benchmarks uit, met een focus op het systeem, een single en multi core CPU, het ram-geheugen en de opslagruimte.

• pts/apache (focus op het systeem). Dit is een test van de Apache HTTPD-webserver. Dit benchmark-testprofiel voor de Apache HTTPD-webserver maakt gebruik van het Golang "Bombardier"-programma voor het faciliteren van HTTP-verzoeken gedurende een vaste periode met een configureerbaar aantal gelijktijdige clients.
• pts/hint (focus op single core CPU). Deze test voert de Energy's Ames Laboratory Hierarchical INTegration (HINT)van het Amerikaanse ministerie van Energie uit.
• pts/compress-7zip (focues op multi core CPU). Dit is een test van 7-Zip compressie/decompressie met zijn geïntegreerde benchmarkfunctie.
• pts/stream (focus op het geheugen). Dit is een benchmark van Stream, de populaire benchmark voor systeemgeheugen (RAM).
• pts/postmark (focus op de opslagruimte). Dit is een test van de PostMark-benchmark van NetApp, die is ontworpen om het testen van kleine bestanden te simuleren, vergelijkbaar met de taken die worden uitgevoerd door web- en mailservers. Dit testprofiel stelt PostMark in staat om 25.000 transacties met 500 bestanden tegelijkertijd uit te voeren met een bestandsgrootte tussen 5 en 512 kilobytes.

Resultaten

Benchmark: pts/apache

Focus op het systeem. Een hogere score is beter.

Gedeelde vCPU 2 cores, 4 GB ram

Gedeelde vCPU 4 cores, 8 GB ram

Dedicated vCPU 4 cores, 16 GB ram

Deze benchmark faalde op de OVH cloud server en heeft dus ook geen resultaat. We hebben deze benchmark meermaals gestart, maar faalde iedere keer (alle andere benchmarks op de OVH server slaagde overigens wel).

Benchmark: pts/hint

Focus op single core CPU. Een hogere score is beter.

Gedeelde vCPU 2 cores, 4 GB ram

Gedeelde vCPU 4 cores, 8 GB ram

Dedicated vCPU 8 cores, 16 GB ram

Benchmark: pts/compression-7zip

Focus op multi core CPU. Een hogere score is beter.

Gedeelde vCPU 2 cores, 4 GB ram

Gedeelde vCPU 4 cores, 8 GB ram

Dedicated vCPU 8 cores, 16 GB ram

Benchmark: pts/stream

Focus op het ram-geheugen. Een hogere score is beter.

Gedeelde vCPU 2 cores, 4 GB ram

Gedeelde vCPU 4 cores, 8 GB ram

Dedicated vCPU 8 cores, 16 GB ram

Benchmark: pts/postmark

Focues op de opslagruimte. Een hogere score is beter. Iedere VM gebruikte ext4 als bestandssysteem.

Gedeelde vCPU 2 cores, 4 GB ram

Gedeelde vCPU 4 cores, 8 GB ram

Dedicated vCPU 8 cores, 16 GB ram

Globaal overzicht

Het is niet onze bedoeling om "de beste" en "de slechtste" provider aan te duiden op basis van deze testen.

Van iedere benchmark hebben we een procentuele vergelijking gemaakt. Van al die scores hebben we een totale procentuele verdeling gemaakt om zo te komen tot een eindvergelijking. Die zie je in onderstaande grafieken.

Gedeelde vCPU 2 cores, 4 GB ram

Vultr en Scaleway zijn de uitschieters als we kijken naar de (Apache) systeemperformantie. Dat zien we ook terug in de multi-core CPU benchmark (7-zip). Wat betreft de performantie van de onderliggende storage, laat Scaleway alle anderen ver achter zich.

Maar dat komt met een prijs. Linode en Scaleway zijn veruit de duurste. Prijs-prestatieverhouding vergeleken zijn DigitalOcean en Vultr aan de dure kant. Linode en OVH zijn hun geld waard. Hetzner scoort gelijkaardig voor een veel lagere kostprijs.

Gedeelde vCPU 4 cores, 8 GB ram

De kaarten liggen geheel anders als we de servers upgraden naar 4 gedeelde cores en 8 GB ram. Overgrote winnaar hier is Hetzner; zowel op vlak van technische prestaties als op prijs.

In de algemene systeem benchmark (Apache) is Hetzner de koploper, op de voet gevolgd door Digital Ocean en Linode. Ook in de multi-core benchmark (7-zip) is Hetzner koploper. Kijken we naar de geheugen benchmark (Stream), dan spant Hetzner opnieuw de kroon.

Prijs-prestatieverhouding zijn vooral Digital Ocean, Linode en Vultr erg duur. Enkel bij Hetzner heb je enorm veel voor zijn prijs.

Dedicated vCPU 8 cores, 16 GB ram

Let op: de Linode server had slechts 8 GB ram.

Vultr zat in de 'gedeelde vCPU' testen in de middenmoot, maar pronkt wel met een dedicated vCPU - al is het wel tegen een hoge prijs. Erg laag scoort OVH, maar de 'Apache' benchmark faalde dan ook keer op keer waardoor er geen resultaat neergepend kon worden.

In de Apache-benchmark kleuren Hetzner, Vultr en Scaleway de top drie. Vultr verdient vooral veel punten bij de Stream-benchmark (ram-geheugen).

Als we kijken naar de prijs-prestatieverhouding, dan zijn Digital Ocean, OVH, UpCloud en Scaleway duur. Linode en Vultr zijn hun prijs waard (maar Linode had slechts de helft ram-geheugen!). Hetzner is voor zijn lage prijs een echte koploper.

Conclusie

Hoewel al deze cloud providers gelijkaardige servers qua specificaties leveren, zien we toch grote verschillen in zowel de prestaties als de kostprijs die daartegenover staat.

Net zoals vorig jaar maakt, prijs-performantie gezien, het Duitse Hetzner opnieuw een zeer goede zet.

Zelf proberen?

Wil je een van deze cloud providers proberen? Met onderstaande (affiliate) links krijg je alvast een startbudget (en kunnen wij deze benchmarks volgend jaar opnieuw doen 😉).

• Hetzner - €20
• DigitalOcean - $200, te gebruiken binnen de 60 dagen
• Vultr - $100, te gebruiken binnen de 14 dagen
• UpCloud - €25