maandag 12 oktober 2015

CEPH: Schalen zonder performance concessies

Probleem: performance afname bij opschalen
Als organisaties grootschalige storage systemen implementeren, moeten zij enorme hoeveelheden data verdelen over misschien wel duizenden storage apparaten. Zij prefereren dan object-based storage. Dit omdat dit een efficiënte manier van opslaan is. Object-based storage systemen vereenvoudigen de layout van data door grote lijsten met informatie over data (zoals wat de locatie is), te vervangen voor eenvoudigere lijsten. Daardoor gaat het zoeken en dus het lezen en schrijven van data sneller. Hoewel de schaalbaarheid enorm verbetert door deze eenvoudigere lijsten, blijft het bijhouden van de toegewezen plaatsen voor stukken data gecentraliseerd gebeuren. Hierdoor is het lastig om de data op een goede manier te distribueren over een grote hoeveelheid storage apparaten. Een probleem dat hierbij ontstaat is dat de data en workload niet genoeg worden verdeeld over alle beschikbare middelen als een systeem wordt opgeschaald, waardoor de middelen niet efficiënt worden benut en er niet voldoende performance wordt behaald.

De oplossing: CEPH
Gelukkig maakt CEPH gebruik van het CRUSH algoritme. Dit algoritme zorgt ervoor dat storage clusters worden bevrijd van schaalbaarheids- en performance beperkingen die worden veroorzaakt door een centrale lijst met informatie over de data. In plaats van zo'n lijst is er een schaalbare, wiskundige functie om data te distribueren. Deze zorgt ervoor dat data en workload gelijkmatig worden verdeeld over het cluster, zelfs als er storage wordt toegevoegd, zodat dit niet allemaal opgevangen hoeft te worden door een beperkte hoeveelheid apparaten. Zo worden alle beschikbare middelen efficiënt gebruikt en daarmee wordt systeem performance gemaximaliseerd.

Bovendien worden grote bestanden in een grootschalig storage systeem bij CEPH opgeknipt en willekeurig gedistribueerd over een grote selectie van beschikbare apparaten, waardoor het schrijven en lezen van deze bestanden in parallel en dus enorm versneld kan plaatsvinden.

Nu bestaat er dus de mogelijkheid om ongelimiteerd te schalen met performance behoud of juist performance toename, en is groeien geen probleem meer!

Volgende week meer over de betrouwbaarheid die CEPH kan realiseren.

Geen opmerkingen:

Een reactie posten