Als het om data storage gaat hebben we in grote lijnen dezelfde wensen. Het opslaan of ophalen van data moet lekker snel gebeuren, onze waardevolle data moet veilig zijn, we willen kunnen uitbreiden als dat nodig is, de kosten moeten te overzien zijn, en het liefst willen we er niet teveel moeite voor hoeven doen. Deze wensen bestaan al jaren en er zijn veel specialisten en bedrijven die door middel van software- en hardware onwikkelingen hun bijdrage leveren aan het vervullen van deze wensen.
Nieuwe storage wensen
Maar door technologische en bedrijfseconomische ontwikkelingen worden we steeds kritischer en stellen we steeds hogere eisen aan onze IT infrastructuur. Waar bijvoorbeeld RAID methodieken eerder voldeden aan performance- en betrouwbaarheids eisen, is er nu behoefte aan storage oplossingen van een ander niveau. Zeker nu verschijnselen als cloud computing en big data een steeds belangrijkere rol gaan spelen in het succes van bedrijven, zijn we op zoek naar de vergrotende trap van onze wensen: sneller, betrouwbaarder, schaalbaarder, betaalbaarder, eenvoudiger.
Super interessante storage software; CEPH
De ontwikkelaars van CEPH begrijpen dit en hebben een software storage platform gecreërd dat onze hogere eisen opvallend goed kan vervullen, met name de schaalbaarheids eis. Hierbij wat mooie eigenschappen op een rij:
voordelen
- zowel file level storage als object level storage en block level storage
- repliceert data en maakt het fault-tolerant
- zelf helend en zelf managing, waardoor beheer tijd en kosten worden geminimaliseerd
- eenvoudig in de omgang
- super snel
- de performance neemt niet af bij calamiteiten als een kapotte disk
- veerkrachtig
- open source en vrij beschikbaar
- kan gebruikt worden op betaalbare, gemakkelijk te verkrijgen hardware, zonder specifieke hardware support
Nou klinkt dit leuk, maar niet direct overtuigend. Daar is wat meer uitleg en begrip van de technieken voor nodig. Omdat CEPH nogal een interessante ontwikkeling is, zal ik in komende posts wat dieper ingaan op de eigenschappen en hoe deze kunnen uw wensen van nu kunnen vervullen.
maandag 28 september 2015
maandag 21 september 2015
Survival of the fittest; overleeft uw bedrijf de komende jaren?
Survival of the fittest
Dit concept wordt nogal eens verkeerd opgevat. De meesten kennen het woord fit als gezond. Het verkeren in een goede lichamelijke en mentale conditie. Maar fit betekent ook passend of geschikt. Dit is hoe het woord in deze theorie van Darwin bedoeld wordt. Degene die overleeft is niet perse de sterkste, slimste, langste, grootste, o.i.d. Degene die overleeft is degene die het beste past bij of geschikt is voor de omgeving.
Veranderende omgeving
We leven in een tijd van verandering en deze verandering gebeurt in een hoog tempo.
De economie wordt steeds meer on-demand. Zo wordt er verwacht dat we steeds meer naar een economie gaan waarin professionals als zelfstandige werken en kleine organisaties deze professionals op tijdelijke basis inhuren voor projecten aan de hand van hun kwaliteiten. Steeds minder zullen organisaties grote aantallen medewerkers hebben die daar hun 25 jarig jubileum vieren.
Ook technologie wordt steeds meer on-demand. Het technologische landschap maakt een transformatie door. Gebruikers worden steeds meer betrokken bij systemen zoals apps, waardoor het aanpassen van producten en diensten aan deze gebruikers niet langer optioneel is.
Daarbij verandert het gedrag van consumenten en medewerkers door de veranderingen in economie en technologie. Ze krijgen andere behoeften dan de afgelopen jaren. Om te overleven moeten bedrijven dus kunnen inspelen op die veranderende behoeften. IT speelt een belangrijke rol in het veranderen van de business om behoeften tegemoet te komen.
One size fits all?
Er is een reden dat traditionele IT systemen nogal nauw geïmplementeerd worden. Nauwheid, als het toegepast wordt op een specifiek probleem, zorgt ervoor dat middelen optimaal worden ingezet. Er was een tijd dat technologie een vast punt moest zijn en dat servers en software strak geconfigureerd konden worden om een beperkt aantal processen uit te voeren. Automatisering zorgde ervoor dat de efficiëntie van processen die zelden veranderden gemaximaliseerd kon worden. Deze 'one size fits all' benadering is helaas in de meesten gevallen niet langer geschikt, want het fenomeen dat processen zelden veranderen is niet meer van nu.
Flexibiliteit is van deze tijd
Nu is er behoefte aan flexibiliteit. Dit kan voorkomen in de vorm van modulariteit. Denk aan de T-mobile reclame met Ali B. Ali B wil alleen betalen voor wat hij gebruikt. Ter illustratie geeft hij aan dat als hij een pizza margarita wil, hij er geen salami op wil krijgen en daar zeker niet voor wil betalen. Men wil graag samenstellingen maken van producten en diensten die zij nodig hebben, precies zoals zij die nodig hebben. Niet meer, niet minder.
De vraag naar flexibiliteit komt ook voor in de vorm van on-demand beschikbaarheid. We willen middelen kunnen gebruiken waar en wanneer we ze nodig hebben. Ten tijde van pieken, zoals de enorme groei in aankopen tijdens de feestdagen, willen retailers tijdelijk extra middelen in kunnen zetten om de drukte op te vangen. Tijdens rustigere tijden hebben ze deze middelen niet meer nodig en willen ze er ook geen kosten e.d. aan hebben.
Let op; deze behoeften gelden niet alleen voor uw klanten. Ook uw medewerkers ontwikkelen die behoeften. Verschillende business units zullen op verschillende momenten verschillende behoeften aan middelen hebben. Ten tijde van intensieve projecten en naderende deadlines bijvoorbeeld zullen zij de mate van hun gebruik willen verhogen.
Overstappen op flexibele IT
Traditionele, strak geconfigureerde servers zijn over het algemeen niet meer effectief voor het bedienen van de snel veranderende omgeving. Middelen dienen verenigd te worden, gevirtualiseerd te worden en samengevoegd te worden met netwerken, storage en management, zodat het gedeeld kan worden door vele applicaties en kan worden aangeboden als een dienst.
IT leiders dienen gebruikers en afdelingen flexibele consumptie modellen te bieden om de juiste uitkomsten te behalen. Alle in-house gereedschap en software kan samengevoegd worden en als service aangeboden worden aan afdelingen die deze consumeren aan de hand van behoefte en budgettaire limieten.
Met de ontwikkelingen van tegenwoordig verlenen flexibele, modulaire en on-demand beschikbare infrastructeren hetzelfde niveau van performance als traditionele, nauwsluitende systemen, zonder dat het onderliggende systeem vastroest.
Maar overstappen is voor mij niet mogelijk
Teveel mensen denken dat hun IT afdeling niet ingericht is om snel genoeg in te spelen op deze trends, want ze zitten opgescheept met traditionele IT systemen. Echter, door de veranderingen in de economie, technologie en behoeften, is flexibiliteit niet langer een optie maar een must. Om sommige veranderingen kunnen we gewoonweg niet heen. Vroeg of laat moeten we ons aanpassen om te floreren of op zijn minst te overleven. Het is vergelijkbaar met het feit dat vele CD winkels en videotheken hun deuren hebben moeten sluiten. Degenen die overleefden zijn degenen die hun business model hebben aangepast.
Dus denk in mogelijkheden. Misschien is fork-lift upgrading niet nodig, maar kunt u uw bestaande hardware hergebruiken om de overstap rendabeler te maken. Misschien kunt de overstap geleidelijk maken, zodat kosten worden gespreid en uw medewerkers zich rustig kunnen aanpassen aan de nieuwe manier van werken.
Hoe dan ook; sluit niet uw ogen voor het onvermijdelijke. Pak het met beide handen aan!
Dit concept wordt nogal eens verkeerd opgevat. De meesten kennen het woord fit als gezond. Het verkeren in een goede lichamelijke en mentale conditie. Maar fit betekent ook passend of geschikt. Dit is hoe het woord in deze theorie van Darwin bedoeld wordt. Degene die overleeft is niet perse de sterkste, slimste, langste, grootste, o.i.d. Degene die overleeft is degene die het beste past bij of geschikt is voor de omgeving.
Veranderende omgeving
We leven in een tijd van verandering en deze verandering gebeurt in een hoog tempo.
De economie wordt steeds meer on-demand. Zo wordt er verwacht dat we steeds meer naar een economie gaan waarin professionals als zelfstandige werken en kleine organisaties deze professionals op tijdelijke basis inhuren voor projecten aan de hand van hun kwaliteiten. Steeds minder zullen organisaties grote aantallen medewerkers hebben die daar hun 25 jarig jubileum vieren.
Ook technologie wordt steeds meer on-demand. Het technologische landschap maakt een transformatie door. Gebruikers worden steeds meer betrokken bij systemen zoals apps, waardoor het aanpassen van producten en diensten aan deze gebruikers niet langer optioneel is.
Daarbij verandert het gedrag van consumenten en medewerkers door de veranderingen in economie en technologie. Ze krijgen andere behoeften dan de afgelopen jaren. Om te overleven moeten bedrijven dus kunnen inspelen op die veranderende behoeften. IT speelt een belangrijke rol in het veranderen van de business om behoeften tegemoet te komen.
One size fits all?
Er is een reden dat traditionele IT systemen nogal nauw geïmplementeerd worden. Nauwheid, als het toegepast wordt op een specifiek probleem, zorgt ervoor dat middelen optimaal worden ingezet. Er was een tijd dat technologie een vast punt moest zijn en dat servers en software strak geconfigureerd konden worden om een beperkt aantal processen uit te voeren. Automatisering zorgde ervoor dat de efficiëntie van processen die zelden veranderden gemaximaliseerd kon worden. Deze 'one size fits all' benadering is helaas in de meesten gevallen niet langer geschikt, want het fenomeen dat processen zelden veranderen is niet meer van nu.
Flexibiliteit is van deze tijd
Nu is er behoefte aan flexibiliteit. Dit kan voorkomen in de vorm van modulariteit. Denk aan de T-mobile reclame met Ali B. Ali B wil alleen betalen voor wat hij gebruikt. Ter illustratie geeft hij aan dat als hij een pizza margarita wil, hij er geen salami op wil krijgen en daar zeker niet voor wil betalen. Men wil graag samenstellingen maken van producten en diensten die zij nodig hebben, precies zoals zij die nodig hebben. Niet meer, niet minder.
De vraag naar flexibiliteit komt ook voor in de vorm van on-demand beschikbaarheid. We willen middelen kunnen gebruiken waar en wanneer we ze nodig hebben. Ten tijde van pieken, zoals de enorme groei in aankopen tijdens de feestdagen, willen retailers tijdelijk extra middelen in kunnen zetten om de drukte op te vangen. Tijdens rustigere tijden hebben ze deze middelen niet meer nodig en willen ze er ook geen kosten e.d. aan hebben.
Let op; deze behoeften gelden niet alleen voor uw klanten. Ook uw medewerkers ontwikkelen die behoeften. Verschillende business units zullen op verschillende momenten verschillende behoeften aan middelen hebben. Ten tijde van intensieve projecten en naderende deadlines bijvoorbeeld zullen zij de mate van hun gebruik willen verhogen.
Overstappen op flexibele IT
Traditionele, strak geconfigureerde servers zijn over het algemeen niet meer effectief voor het bedienen van de snel veranderende omgeving. Middelen dienen verenigd te worden, gevirtualiseerd te worden en samengevoegd te worden met netwerken, storage en management, zodat het gedeeld kan worden door vele applicaties en kan worden aangeboden als een dienst.
IT leiders dienen gebruikers en afdelingen flexibele consumptie modellen te bieden om de juiste uitkomsten te behalen. Alle in-house gereedschap en software kan samengevoegd worden en als service aangeboden worden aan afdelingen die deze consumeren aan de hand van behoefte en budgettaire limieten.
Met de ontwikkelingen van tegenwoordig verlenen flexibele, modulaire en on-demand beschikbare infrastructeren hetzelfde niveau van performance als traditionele, nauwsluitende systemen, zonder dat het onderliggende systeem vastroest.
Maar overstappen is voor mij niet mogelijk
Teveel mensen denken dat hun IT afdeling niet ingericht is om snel genoeg in te spelen op deze trends, want ze zitten opgescheept met traditionele IT systemen. Echter, door de veranderingen in de economie, technologie en behoeften, is flexibiliteit niet langer een optie maar een must. Om sommige veranderingen kunnen we gewoonweg niet heen. Vroeg of laat moeten we ons aanpassen om te floreren of op zijn minst te overleven. Het is vergelijkbaar met het feit dat vele CD winkels en videotheken hun deuren hebben moeten sluiten. Degenen die overleefden zijn degenen die hun business model hebben aangepast.
Dus denk in mogelijkheden. Misschien is fork-lift upgrading niet nodig, maar kunt u uw bestaande hardware hergebruiken om de overstap rendabeler te maken. Misschien kunt de overstap geleidelijk maken, zodat kosten worden gespreid en uw medewerkers zich rustig kunnen aanpassen aan de nieuwe manier van werken.
Hoe dan ook; sluit niet uw ogen voor het onvermijdelijke. Pak het met beide handen aan!
maandag 14 september 2015
3 redenen voor IT monitoring
Het concept monitoring
Monitoring is de basis voor objectieve analyse van systeem administratie activiteiten en IT in het algemeen. Het betreft het verzamelen van reguliere data betreffende uw IT infrastructuur, om meldingen van ongeplande downtime, indringing van het netwerk en verzadiging van middelen te geven. Daarbij bevat een monitoring systeem een analytische laag die data samenvoegt en correleert. Zo worden operationele praktijken controleerbaar, wat bijvoorbeeld nuttig is voor het bepalen van de bron van fouten.
Monitoring verdient meer aandacht
Monitoring is geen nieuw begrip. Toch is het ontbreken van goede monitoring activiteiten te vaak een oorzaak van grote IT problemen die leiden tot downtime en dataverlies, wat hoge kosten, stress en ontevredenheid bij klanten en partners kan opleveren. Dat is gigantisch zonde, des te meer omdat een monitoring mechanisme deze problemen enorm kan beperken. Mits het goed gebruikt wordt natuurlijk!
Om het belang van monitoring te benadrukken: Ga maar eens na wat voor gevolgen het heeft als u de benzinemeter in uw auto niet in de gaten houdt en u zonder benzine langs de kant van de weg komt te staan. Bedenk u nu eens dat u een lange trip door de woestijn moet maken. U zou het niet in uw hoofd halen om in die situatie uw dashboard niet goed te bekijken, wat in verhouding zo'n kleine moeite is. Toch gebeurt er iets vergelijkbaars bij veel IT afdelingen van bedrijven. Daarom verdient monitoring meer aandacht.
3 redenen voor monitoring
Het kan zeker interessant zijn om uw monitoring praktijken uit te besteden. Het is belangrijk dat het monitoring mechanisme operationeel blijft tijdens service onderbrekingen. Dit gaat beter als het monitoring systeem apart is van de systemen die hij monitort. Als u het laat doen door iemand die er kennis van en ervaring mee heeft, is de kwaliteit waarschijnlijk ook beter en heeft u de zorgen er niet van.
Monitoring is de basis voor objectieve analyse van systeem administratie activiteiten en IT in het algemeen. Het betreft het verzamelen van reguliere data betreffende uw IT infrastructuur, om meldingen van ongeplande downtime, indringing van het netwerk en verzadiging van middelen te geven. Daarbij bevat een monitoring systeem een analytische laag die data samenvoegt en correleert. Zo worden operationele praktijken controleerbaar, wat bijvoorbeeld nuttig is voor het bepalen van de bron van fouten.
Monitoring verdient meer aandacht
Monitoring is geen nieuw begrip. Toch is het ontbreken van goede monitoring activiteiten te vaak een oorzaak van grote IT problemen die leiden tot downtime en dataverlies, wat hoge kosten, stress en ontevredenheid bij klanten en partners kan opleveren. Dat is gigantisch zonde, des te meer omdat een monitoring mechanisme deze problemen enorm kan beperken. Mits het goed gebruikt wordt natuurlijk!
Om het belang van monitoring te benadrukken: Ga maar eens na wat voor gevolgen het heeft als u de benzinemeter in uw auto niet in de gaten houdt en u zonder benzine langs de kant van de weg komt te staan. Bedenk u nu eens dat u een lange trip door de woestijn moet maken. U zou het niet in uw hoofd halen om in die situatie uw dashboard niet goed te bekijken, wat in verhouding zo'n kleine moeite is. Toch gebeurt er iets vergelijkbaars bij veel IT afdelingen van bedrijven. Daarom verdient monitoring meer aandacht.
3 redenen voor monitoring
- Beperk downtime: Met een monitoring mechanisme heeft u inzicht in de status van uw systemen. Zo kunt u zien hoe druk het systeem bezet is en of er schijven aan vervanging toe zijn. Als u adequaat en op tijd reageert op de gebeurtenissen en de informatie die u van het monitoring mechanisme ontvangt, kunt u voorkomen dat kleine gebreken uitgroeien tot grote falen die uiteindelijk tot downtime leiden, met alle (financiële) gevolgen van dien.
- Voorkom dataverlies: Als een systeem niet correct wordt afgesloten of overbezet is, kunnen er problemen ontstaan met het lezen en schrijven van data, waardoor (een gedeelte van) de data verloren kan gaan. Het opnieuw creëren van die data is vaak onmogelijk of niet rendabel, waardoor er grote verliezen geleden worden. Met monitoring kunt u dit minimaliseren. Ook hier is voorkomen weer veel beter dan genezen.
- Controleer uw operationele praktijken: Doordat monitoring u inzicht geeft in het functioneren van uw systemen, kunt u bijvoorbeeld ontdekken wanneer er pieken zijn in systeem bezetting. Door bepaalde activiteiten op andere momenten te plannen, kunt u overbezetting voorkomen, performance verhogen en efficiënter omgaan met uw middelen. Ook kunt u ontdekken welke aspecten van het systeem fouten produceren of beneden de performance norm opereren.
Het kan zeker interessant zijn om uw monitoring praktijken uit te besteden. Het is belangrijk dat het monitoring mechanisme operationeel blijft tijdens service onderbrekingen. Dit gaat beter als het monitoring systeem apart is van de systemen die hij monitort. Als u het laat doen door iemand die er kennis van en ervaring mee heeft, is de kwaliteit waarschijnlijk ook beter en heeft u de zorgen er niet van.
maandag 7 september 2015
Wat is veiliger: in de cloud of op eigen locatie?
Veiligheid is de belangrijkste reden dat bedrijven niet met hun data in de cloud willen. Ze zijn bang voor data verlies, het risico op privacy schending en het risico op diefstal van hun intellectual property. Begrijpelijk. Als u zeer gevoelige data heeft, geeft het een onzeker gevoel om dit in handen van een externe partij te geven. Maar is dit onzekere gevoel terecht? Is uw data inderdaad veiliger bij u op locatie dan in de cloud?
On-premises
Als uw data op eigen locatie wordt verwerkt en opgeslagen, heeft u misschien het gevoel er controle over te hebben. Uw systemen staan dichterbij, u weet welke mensen uw systemen beheren en u weet welke beveiliging ervoor zorgt dat er geen ongewenste mensen het gebouw inlopen (als dit zo is).
Als u hier eens net zo kritisch naar kijkt als naar de veiligheid van uw data bij cloud providers, moet u misschien de conclusie trekken dat de veiligheid van uw data in uw huidige IT oplossing wel wat te wensen overlaat. Dit hoeft niet perse te wijden te zijn aan de mogelijkheden van de systemen. Vaak is het te wijden aan het beleid en de manier waarop er met de IT infrastructuur wordt omgegaan.
Veel bedrijven houden bijvoorbeeld hun systemen niet goed in de gaten met een monitoring programma, zodat ze systeem falen niet zien aankomen en niet kunnen voorkomen, met dataverlies als mogelijk gevolg. Daarbij is van veel bedrijven de data niet veilig als er brand zou uitbreken op de locatie waar de systemen staan.
Dit zijn slechts twee van de vele voorbeelden van ontbrekende of niet goed functionerende veiligheidsmaatregelen.
In de cloud
Aangezien veiligheid de belangrijkste reden is waarom veel bedrijven niet naar de cloud willen, is dit onderwerp juist een belangrijk punt op de agenda bij cloud providers. De negatieve manier waarop cloud computing i.c.m. veiligheid soms in het nieuws komt (terecht of onterecht), zorgt ervoor dat cloud providers hun (potentiële) klanten juist het tegendeel moeten bewijzen en hier dus hard aan werken.
Voor cloud providers is het beheren van hun cloudoplossingen hun core business. Zij zijn hierin gespecialiseerd en besteden daar een significant deel van hun middelen aan, waardoor ze datacenters hebben die op zo'n manier zijn beveiligd tegen bijvoorbeeld brand en inbraak die u zelf niet zou kunnen realiseren omdat dat gewoonweg niet rendabel is.
Conclusie
Met deze post wil ik zeker niet zeggen dat de cloud veiliger is dan on-premises IT. Wat ik wel wil zeggen is dat beslissingen niet gebaseerd moeten worden op aannames. Toen ik afgelopen week Citizen Four zag, de documentaire over Edward Snowden, had dit een negatief effect op mijn gevoel van vertrouwen t.o.v. cloud providers. Echter, de betrouwbaarheid van de bron ben ik niet nagegaan, dus of dit effect terecht was kan ik niet beoordelen.
Om te bepalen of on-premises computing of cloud computing veiliger voor uw data is, dient u een vergelijking van beide opties te maken. Denk eraan dat u deze vergelijking baseert op feiten en dat u de unieke belangen van uw organisatie in acht neemt. Win informatie over veiligheid in bij cloudproviders en bij uw IT leverancier en IT beheerders. Beeld u dan verschillende scenarios in en bespreek met (deze) adviseurs wat de gevolgen voor uw data zullen zijn in beide gevallen.
Alleen als u goed ingelicht bent kunt u de afweging maken.
On-premises
Als uw data op eigen locatie wordt verwerkt en opgeslagen, heeft u misschien het gevoel er controle over te hebben. Uw systemen staan dichterbij, u weet welke mensen uw systemen beheren en u weet welke beveiliging ervoor zorgt dat er geen ongewenste mensen het gebouw inlopen (als dit zo is).
Als u hier eens net zo kritisch naar kijkt als naar de veiligheid van uw data bij cloud providers, moet u misschien de conclusie trekken dat de veiligheid van uw data in uw huidige IT oplossing wel wat te wensen overlaat. Dit hoeft niet perse te wijden te zijn aan de mogelijkheden van de systemen. Vaak is het te wijden aan het beleid en de manier waarop er met de IT infrastructuur wordt omgegaan.
Veel bedrijven houden bijvoorbeeld hun systemen niet goed in de gaten met een monitoring programma, zodat ze systeem falen niet zien aankomen en niet kunnen voorkomen, met dataverlies als mogelijk gevolg. Daarbij is van veel bedrijven de data niet veilig als er brand zou uitbreken op de locatie waar de systemen staan.
Dit zijn slechts twee van de vele voorbeelden van ontbrekende of niet goed functionerende veiligheidsmaatregelen.
In de cloud
Aangezien veiligheid de belangrijkste reden is waarom veel bedrijven niet naar de cloud willen, is dit onderwerp juist een belangrijk punt op de agenda bij cloud providers. De negatieve manier waarop cloud computing i.c.m. veiligheid soms in het nieuws komt (terecht of onterecht), zorgt ervoor dat cloud providers hun (potentiële) klanten juist het tegendeel moeten bewijzen en hier dus hard aan werken.
Voor cloud providers is het beheren van hun cloudoplossingen hun core business. Zij zijn hierin gespecialiseerd en besteden daar een significant deel van hun middelen aan, waardoor ze datacenters hebben die op zo'n manier zijn beveiligd tegen bijvoorbeeld brand en inbraak die u zelf niet zou kunnen realiseren omdat dat gewoonweg niet rendabel is.
Conclusie
Met deze post wil ik zeker niet zeggen dat de cloud veiliger is dan on-premises IT. Wat ik wel wil zeggen is dat beslissingen niet gebaseerd moeten worden op aannames. Toen ik afgelopen week Citizen Four zag, de documentaire over Edward Snowden, had dit een negatief effect op mijn gevoel van vertrouwen t.o.v. cloud providers. Echter, de betrouwbaarheid van de bron ben ik niet nagegaan, dus of dit effect terecht was kan ik niet beoordelen.
Om te bepalen of on-premises computing of cloud computing veiliger voor uw data is, dient u een vergelijking van beide opties te maken. Denk eraan dat u deze vergelijking baseert op feiten en dat u de unieke belangen van uw organisatie in acht neemt. Win informatie over veiligheid in bij cloudproviders en bij uw IT leverancier en IT beheerders. Beeld u dan verschillende scenarios in en bespreek met (deze) adviseurs wat de gevolgen voor uw data zullen zijn in beide gevallen.
Alleen als u goed ingelicht bent kunt u de afweging maken.
maandag 31 augustus 2015
High Performance Computing: Het kan ook betaalbaar
Als u gebruik wilt maken van HPC om grote vraagtsukken op te lossen, dan kunt u daar een HPC cluster van een groot merk voor aanschaffen. Dit klinkt interessant, maar is voor veel bedrijven financieel gezien verre van haalbaar en niet altijd de beste keuze.
Zoals eerder besproken is het ook mogelijk om uw computercapaciteit tegen een prijs per tijdseenheid in te huren bij partijen als Amazon en Google, en op die manier uw HPC activiteiten in de cloud plaats te laten vinden. Toch is dat misschien geen geschikte oplossing, bijvoorbeeld als u dat om veiligheidsredenen geen prettig idee vindt, of omdat u vaker dan eens een HPC kwestie wilt aanpakken en outsourcen dan toch niet de meest gunstige keuze lijkt.
Eigen HPC cluster creëren
Maar er bestaat nog een manier om HPC toe te passen; zelf een HPC cluster creëren. Dit lijkt gigantisch ingewikkeld en het zal inderdaad wat uitzoekwerk kosten. Toch is het zeker een optie en wellicht enorm de moeite waard, omdat het u zeer veel geld kan besparen en het u een bepaalde vorm van vrijheid geeft doordat u het op zo'n manier kan samenstellen of aanpassen dat het voor u het beste is.
Maar ik ben geen HPC specialist
Om een eigen cluster te creëren hoeft u het wiel niet zelf uit te vinden. Naast dat er bedrijven ontwikkelen aan HPC, zijn overheidsinstellingen zoals universiteiten ook bezig met onderzoeken op dit gebied en het ontwikkelen van software ervoor. Die instellingen maken gebruik van al beschikbare kennis uit een open source community voor HPC, en dragen zelf ook bij aan deze community door hun eigen vondsten te delen.
Op deze manier kunt u kosteloos hele waardevolle kennis benutten om uw eigen cluster te bouwen. U kunt op zoek gaan naar software die geschikt is voor uw omgeving en vraagstuk. Mogelijk moet u wat stukken software combineren of aanpassen om het geheel passend voor uw situatie te maken. Natuurlijk kunt u ook zelf bijdragen aan de community door de problemen waar u tegenaan loopt of eigen ontdekkingen te delen.
Computers beter benutten of opkopen
Naast software heeft u natuurlijk computerkracht nodig voor uw HPC cluster. Het zou kunnen dat u eigenlijk al heel veel computerkracht tot uw beschikking heeft, doordat het bedrijf een groot aantal PC's heeft die niet volledig worden benut. Veel computers worden maar voor een zeer laag percentage gebruikt, waardoor ze nog heel veel middelen over hebben die voor een andere taak ingezet kunnen worden. Dan is het een optie om die computers aan elkaar te koppelen voor uw HPC cluster en bepaart dat u de aanschaf of huur van rekenkracht.
Als u nog niet genoeg computerkracht heeft, kunt u dit aanschaffen. Waarschijnlijk heeft u een groot aantal computers nodig, dus dit zou aardig in de kosten kunnen gaan lopen. Hoewel, hier kunt u een creatieve oplossing voor bedenken. Sommige bedrijven willen elke drie jaar nieuwe computers. Die 'verouderde' computers, die vaak nog wel even mee kunnen, kunt u opkopen tegen een lage prijs en samenvoegen tot een cluster.
Waar begin ik?
Bij het zelf creëren van een HPC cluster is het slim eerst deze optie te vergelijken met de aanschaf van een cluster en met HPC in de cloud. Om te kijken welke optie het beste bij uw situatie past kunt u zichzelf bijv. de volgende vragen stellen:
- Hoe vaak heb ik HPC nodig?
- Binnen welke termijn moeten mijn vraagstukken opgelost worden?
- Hoeveel financiële middelen heb ik tot mijn beschikking?
- Hoeveel computerkracht heb ik al in huis?
- Heb ik een software engineer die mij hierbij kan helpen?
Verder kan het heel leerzaam zijn om op internet cases vergelijkbaar met uw situatie op te zoeken. Ontdek welke software zij hebben gebruikt, tegen welke problemen zij aanliepen en hoe ze die hebben opgelost. Er is tegenwoordig zoveel kennis beschikbaar, niet alleen in de vorm van tekst, maar ook in de vorm van filmpjes. Als u een krap budget heeft hoeft dat niet te betekenen dat u de voordelen van HPC niet kunt benutten. Slim zoeken, creativiteit en inzet kunnen u heel ver brengen..
Zoals eerder besproken is het ook mogelijk om uw computercapaciteit tegen een prijs per tijdseenheid in te huren bij partijen als Amazon en Google, en op die manier uw HPC activiteiten in de cloud plaats te laten vinden. Toch is dat misschien geen geschikte oplossing, bijvoorbeeld als u dat om veiligheidsredenen geen prettig idee vindt, of omdat u vaker dan eens een HPC kwestie wilt aanpakken en outsourcen dan toch niet de meest gunstige keuze lijkt.
Eigen HPC cluster creëren
Maar er bestaat nog een manier om HPC toe te passen; zelf een HPC cluster creëren. Dit lijkt gigantisch ingewikkeld en het zal inderdaad wat uitzoekwerk kosten. Toch is het zeker een optie en wellicht enorm de moeite waard, omdat het u zeer veel geld kan besparen en het u een bepaalde vorm van vrijheid geeft doordat u het op zo'n manier kan samenstellen of aanpassen dat het voor u het beste is.
Maar ik ben geen HPC specialist
Om een eigen cluster te creëren hoeft u het wiel niet zelf uit te vinden. Naast dat er bedrijven ontwikkelen aan HPC, zijn overheidsinstellingen zoals universiteiten ook bezig met onderzoeken op dit gebied en het ontwikkelen van software ervoor. Die instellingen maken gebruik van al beschikbare kennis uit een open source community voor HPC, en dragen zelf ook bij aan deze community door hun eigen vondsten te delen.
Op deze manier kunt u kosteloos hele waardevolle kennis benutten om uw eigen cluster te bouwen. U kunt op zoek gaan naar software die geschikt is voor uw omgeving en vraagstuk. Mogelijk moet u wat stukken software combineren of aanpassen om het geheel passend voor uw situatie te maken. Natuurlijk kunt u ook zelf bijdragen aan de community door de problemen waar u tegenaan loopt of eigen ontdekkingen te delen.
Computers beter benutten of opkopen
Naast software heeft u natuurlijk computerkracht nodig voor uw HPC cluster. Het zou kunnen dat u eigenlijk al heel veel computerkracht tot uw beschikking heeft, doordat het bedrijf een groot aantal PC's heeft die niet volledig worden benut. Veel computers worden maar voor een zeer laag percentage gebruikt, waardoor ze nog heel veel middelen over hebben die voor een andere taak ingezet kunnen worden. Dan is het een optie om die computers aan elkaar te koppelen voor uw HPC cluster en bepaart dat u de aanschaf of huur van rekenkracht.
Als u nog niet genoeg computerkracht heeft, kunt u dit aanschaffen. Waarschijnlijk heeft u een groot aantal computers nodig, dus dit zou aardig in de kosten kunnen gaan lopen. Hoewel, hier kunt u een creatieve oplossing voor bedenken. Sommige bedrijven willen elke drie jaar nieuwe computers. Die 'verouderde' computers, die vaak nog wel even mee kunnen, kunt u opkopen tegen een lage prijs en samenvoegen tot een cluster.
Waar begin ik?
Bij het zelf creëren van een HPC cluster is het slim eerst deze optie te vergelijken met de aanschaf van een cluster en met HPC in de cloud. Om te kijken welke optie het beste bij uw situatie past kunt u zichzelf bijv. de volgende vragen stellen:
- Hoe vaak heb ik HPC nodig?
- Binnen welke termijn moeten mijn vraagstukken opgelost worden?
- Hoeveel financiële middelen heb ik tot mijn beschikking?
- Hoeveel computerkracht heb ik al in huis?
- Heb ik een software engineer die mij hierbij kan helpen?
Verder kan het heel leerzaam zijn om op internet cases vergelijkbaar met uw situatie op te zoeken. Ontdek welke software zij hebben gebruikt, tegen welke problemen zij aanliepen en hoe ze die hebben opgelost. Er is tegenwoordig zoveel kennis beschikbaar, niet alleen in de vorm van tekst, maar ook in de vorm van filmpjes. Als u een krap budget heeft hoeft dat niet te betekenen dat u de voordelen van HPC niet kunt benutten. Slim zoeken, creativiteit en inzet kunnen u heel ver brengen..
maandag 24 augustus 2015
High Performance Computing: De juiste storage voor maximale performance
Geschikte storage maakt HPC compleet
Als HPC wordt ingezet, is er blijkbaar vraag naar hoge performance. Computing activiteiten kunnen d.m.v. HPC in principe zeer snel worden uitgevoerd. Echter, dat wil niet zeggen dat de maximale performance van het systeem wordt behaald. Hoewel parallellisme de meerderheid van verwerkings flessenhalzen overwint, verplaatst het de performance flessenhalzen naar het storage I/O systeem.
Een systeem is zo snel als de zwakste schakel. Het is belangrijk de juiste storage te gebruiken om een HPC systeem optimaal te benutten.
HPC en storage
HPC wordt gebruikt om grote vraagstukken op te lossen. Deze worden opgedeeld in kleine berekeningen die bij elkaar het totaal antwoord vormen. Sommige berekeningen kunnen tegelijkertijd plaatsvinden, maar er zijn ook berekeningen die pas na andere uitgevoerd kunnen worden, omdat deze de output van voorgaande berekeningen nodig hebben als input. De tussentijdse uitkomsten moeten dus (tijdelijk) worden opgeslagen, om later gebruikt te kunnen worden. Als je dit tussentijds opslaan van data doet met traditionele storage, ben je aan het fietsen op een racefiets terwijl je de rem erop houdt.
Parallel storage
Belangrijk is dus dat het lezen en schrijven van data zeer snel gebeurt (dat de rem er af gaat). Dit kan op verschillende manieren bereikt worden. Zo kan er met snellere netwerken en schijven gewerkt worden, of kan er slim gebruik gemaakt worden van caching. Hoewel dat een hoop snelheidswinst kan opleveren, is parallel storage DE manier om HPC goed tot zijn recht te laten komen.
Bij HPC gebeuren berekeningen parallel omdat dit een zeer hoge snelheid oplevert. Als het opslaan van de tussentijdse uitkomsten sequentieel (na elkaar) gebeurt, dan ontstaan er opstoppingen. Pas als het ene bestand is geschreven kan er worden begonnen met het schrijven van het volgende bestand. De nieuwe opdrachten die al klaar staan om hun berekeningen uit te voeren moeten dan in verhouding erg lang wachten op de resultaten die zij nodig hebben om hun taak te vervullen. Dit kan een enorme vertraging opleveren.
Die vertraging kan worden weggenomen door met parallel storage te werken. Parallel storage houdt in dat het hardware technisch mogelijk is om parallel op te slaan (dus dat er zeg maar meerdere poortjes zijn), en dat er een parallel file systeem is dat regelt dat de bestanden ook daadwerkelijk parallel wordt opgeslagen door ze te verdelen over de 'poortjes'. Dit kan bijv. inhouden dat grote bestanden worden opgeknipt in stukjes, zodat de stukjes in parallel opgeslagen kunnen worden i.p.v. dat het grote bestand door één 'poortje' gaat.
Sommige parallele file systemen halen ook nog de meta data server weg uit het data pad tussen de computer en de storage, om nog meer snelheidswinst te behalen.
Voor meer informatie over parallel storage, zoals voordelen naast performance, zie mijn andere posts:
pNFS: Parallel is snel, en dat niet alleen...
PanFS RAID 6+ architectuur: Enorme groei in betrouwbaarheid
PanFS RAID 6+ architectuur: Performance en continuiteit
Als HPC wordt ingezet, is er blijkbaar vraag naar hoge performance. Computing activiteiten kunnen d.m.v. HPC in principe zeer snel worden uitgevoerd. Echter, dat wil niet zeggen dat de maximale performance van het systeem wordt behaald. Hoewel parallellisme de meerderheid van verwerkings flessenhalzen overwint, verplaatst het de performance flessenhalzen naar het storage I/O systeem.
Een systeem is zo snel als de zwakste schakel. Het is belangrijk de juiste storage te gebruiken om een HPC systeem optimaal te benutten.
HPC en storage
HPC wordt gebruikt om grote vraagstukken op te lossen. Deze worden opgedeeld in kleine berekeningen die bij elkaar het totaal antwoord vormen. Sommige berekeningen kunnen tegelijkertijd plaatsvinden, maar er zijn ook berekeningen die pas na andere uitgevoerd kunnen worden, omdat deze de output van voorgaande berekeningen nodig hebben als input. De tussentijdse uitkomsten moeten dus (tijdelijk) worden opgeslagen, om later gebruikt te kunnen worden. Als je dit tussentijds opslaan van data doet met traditionele storage, ben je aan het fietsen op een racefiets terwijl je de rem erop houdt.
Parallel storage
Belangrijk is dus dat het lezen en schrijven van data zeer snel gebeurt (dat de rem er af gaat). Dit kan op verschillende manieren bereikt worden. Zo kan er met snellere netwerken en schijven gewerkt worden, of kan er slim gebruik gemaakt worden van caching. Hoewel dat een hoop snelheidswinst kan opleveren, is parallel storage DE manier om HPC goed tot zijn recht te laten komen.
Bij HPC gebeuren berekeningen parallel omdat dit een zeer hoge snelheid oplevert. Als het opslaan van de tussentijdse uitkomsten sequentieel (na elkaar) gebeurt, dan ontstaan er opstoppingen. Pas als het ene bestand is geschreven kan er worden begonnen met het schrijven van het volgende bestand. De nieuwe opdrachten die al klaar staan om hun berekeningen uit te voeren moeten dan in verhouding erg lang wachten op de resultaten die zij nodig hebben om hun taak te vervullen. Dit kan een enorme vertraging opleveren.
Die vertraging kan worden weggenomen door met parallel storage te werken. Parallel storage houdt in dat het hardware technisch mogelijk is om parallel op te slaan (dus dat er zeg maar meerdere poortjes zijn), en dat er een parallel file systeem is dat regelt dat de bestanden ook daadwerkelijk parallel wordt opgeslagen door ze te verdelen over de 'poortjes'. Dit kan bijv. inhouden dat grote bestanden worden opgeknipt in stukjes, zodat de stukjes in parallel opgeslagen kunnen worden i.p.v. dat het grote bestand door één 'poortje' gaat.
Sommige parallele file systemen halen ook nog de meta data server weg uit het data pad tussen de computer en de storage, om nog meer snelheidswinst te behalen.
Voor meer informatie over parallel storage, zoals voordelen naast performance, zie mijn andere posts:
pNFS: Parallel is snel, en dat niet alleen...
PanFS RAID 6+ architectuur: Enorme groei in betrouwbaarheid
PanFS RAID 6+ architectuur: Performance en continuiteit
maandag 17 augustus 2015
High Performance Computing: Meer dan het samenvoegen van rekenkracht
Bij High Performance Computing wordt rekenkracht samengevoegd op zo'n manier dat het een zeer hoge performance kan leveren, zodat complexe rekenproblemen binnen afzienbare tijd kunnen worden opgelost.
Het samenvoegen kan door computers te verbinden over een netwerk (bijv. internet), waarbij de computers wat van hun tijd of al hun tijd besteden aan het oplossen van een gemeenschappelijk probleem (mier methode). Elke individuele computer krijgt veel kleine taken en lost deze op. Alle resultaten worden gerappoteerd aan een centrale server, die alle resultaten integreert en tot een totaal oplossing komt.
Het samenvoegen kan ook door processoren heel dicht bij elkaar te brengen in een groot computer cluster (olifant methode), waarbij tijd wordt gespaard doordat de data niet verplaatst hoeft te worden en waarbij de processoren kunnen samenwerken.
Hoewel dit redelijk simpel klinkt, komt er veel meer bij kijken dan wat kabels leggen voor de verbindingen.
HPC is geavanceerde logistiek
Een groep mensen bij elkaar in een ruimte maakt nog geen team. Zo maakt een groep processoren nog geen High Performance Computing. Als een complexe taak moet worden opgelost door krachten te bundelen, moeten die krachten wel op een slimme manier gebundeld worden, om bijv. te voorkomen dat taken dubbel of in onlogische volgorde worden uitgevoerd, waardoor het proces zeer inefficiënt verloopt.
Parallellisatie
High Performance Computing heeft een belangrijke eigenschap die voor enorme snelheidswinst zorgt; parallellisatie. Normaal gesproken gebeuren berekeningen door computers sequentieel, dus na elkaar. Bij parallellisatie gebeuren berekeningen tegelijkertijd.
Logistiek manager
Daarbij is er bij High performance Computing een applicatie welke zeg maar de logistiek manager is. Deze moet ervoor zorgen dat het totaal proces voor het oplossen van het complexe probleem zo snel mogelijk gebeurt. Er moet een plan gemaakt worden om het probleem aan te pakken, het probleem moet eventueel opgedeeld worden in kleine stukken en er moet een taakverdeling gemaakt worden zodat de deel-problemen door de meest geschikte rekeneenheden worden opgelost. Ook dient er goed gepland te worden welke taak wanneer wordt uitgevoerd en is communicatie tussen de rekeneenheden belangrijk. Sommige taken hebben namelijk bijv. de resultaten van andere taken nodig als input voor hun berekeningen. Als die resultaten niet op tijd klaar staan, komt er vertraging.
Toegewijde chips
Er worden allerlei chips ontwikkeld die goed zijn in het uitvoeren van één bepaalde taak. Als een groot probleem wordt verdeeld in kleinere taken, dan zou zo'n toegewijde chip zich volledig kunnen richten op de taak waar hij goed in is en dit super snel doen. Als het taken betreft die voorheen een belangrijke bottleneck waren, dan kan er met deze chips alleen al een enorme snelheidswinst gerealiseerd worden.
Metafoor: verhuizing
Om het wat 'tastbaarder' te maken gebruik ik als metafoor even een verhuizing. Als er maar één verhuizer is zal het verhuizen grof gezegd ongeveer twee keer zo langzaam gaan als dat er twee verhuizers zijn en ongeveer drie keer zo langzaam als wanneer er drie verhuizers zijn. Dit is een voorbeeld van het voordeel van parallellisatie, maar alleen als de verhuizers niet teveel met elkaar gaan lopen kletsen ;-)
Er moet wel een plan van aanpak gemaakt worden voor het verhuizen om het proces zo snel mogelijk af te ronden. Het is handig om dat door iemand met logistiek inzicht te laten doen (logistiek manager). Als bijv. de spullen niet goed worden ingedeeld, kost dit veel ruimte en moet er extra gereden worden, wat een verspilling van tijd is. Verder moeten de verhuizers goed overleggen wie welke spullen inlaadt. Zo is het bijv. handig dat de sterkste de zwaarste spullen tilt (toegewijde chips).
Hopelijk geeft deze post u wat meer inzicht in de onderliggende techniek en logistiek van HPC.
Het samenvoegen kan door computers te verbinden over een netwerk (bijv. internet), waarbij de computers wat van hun tijd of al hun tijd besteden aan het oplossen van een gemeenschappelijk probleem (mier methode). Elke individuele computer krijgt veel kleine taken en lost deze op. Alle resultaten worden gerappoteerd aan een centrale server, die alle resultaten integreert en tot een totaal oplossing komt.
Het samenvoegen kan ook door processoren heel dicht bij elkaar te brengen in een groot computer cluster (olifant methode), waarbij tijd wordt gespaard doordat de data niet verplaatst hoeft te worden en waarbij de processoren kunnen samenwerken.
Hoewel dit redelijk simpel klinkt, komt er veel meer bij kijken dan wat kabels leggen voor de verbindingen.
HPC is geavanceerde logistiek
Een groep mensen bij elkaar in een ruimte maakt nog geen team. Zo maakt een groep processoren nog geen High Performance Computing. Als een complexe taak moet worden opgelost door krachten te bundelen, moeten die krachten wel op een slimme manier gebundeld worden, om bijv. te voorkomen dat taken dubbel of in onlogische volgorde worden uitgevoerd, waardoor het proces zeer inefficiënt verloopt.
Parallellisatie
High Performance Computing heeft een belangrijke eigenschap die voor enorme snelheidswinst zorgt; parallellisatie. Normaal gesproken gebeuren berekeningen door computers sequentieel, dus na elkaar. Bij parallellisatie gebeuren berekeningen tegelijkertijd.
Logistiek manager
Daarbij is er bij High performance Computing een applicatie welke zeg maar de logistiek manager is. Deze moet ervoor zorgen dat het totaal proces voor het oplossen van het complexe probleem zo snel mogelijk gebeurt. Er moet een plan gemaakt worden om het probleem aan te pakken, het probleem moet eventueel opgedeeld worden in kleine stukken en er moet een taakverdeling gemaakt worden zodat de deel-problemen door de meest geschikte rekeneenheden worden opgelost. Ook dient er goed gepland te worden welke taak wanneer wordt uitgevoerd en is communicatie tussen de rekeneenheden belangrijk. Sommige taken hebben namelijk bijv. de resultaten van andere taken nodig als input voor hun berekeningen. Als die resultaten niet op tijd klaar staan, komt er vertraging.
Toegewijde chips
Er worden allerlei chips ontwikkeld die goed zijn in het uitvoeren van één bepaalde taak. Als een groot probleem wordt verdeeld in kleinere taken, dan zou zo'n toegewijde chip zich volledig kunnen richten op de taak waar hij goed in is en dit super snel doen. Als het taken betreft die voorheen een belangrijke bottleneck waren, dan kan er met deze chips alleen al een enorme snelheidswinst gerealiseerd worden.
Metafoor: verhuizing
Om het wat 'tastbaarder' te maken gebruik ik als metafoor even een verhuizing. Als er maar één verhuizer is zal het verhuizen grof gezegd ongeveer twee keer zo langzaam gaan als dat er twee verhuizers zijn en ongeveer drie keer zo langzaam als wanneer er drie verhuizers zijn. Dit is een voorbeeld van het voordeel van parallellisatie, maar alleen als de verhuizers niet teveel met elkaar gaan lopen kletsen ;-)
Er moet wel een plan van aanpak gemaakt worden voor het verhuizen om het proces zo snel mogelijk af te ronden. Het is handig om dat door iemand met logistiek inzicht te laten doen (logistiek manager). Als bijv. de spullen niet goed worden ingedeeld, kost dit veel ruimte en moet er extra gereden worden, wat een verspilling van tijd is. Verder moeten de verhuizers goed overleggen wie welke spullen inlaadt. Zo is het bijv. handig dat de sterkste de zwaarste spullen tilt (toegewijde chips).
Hopelijk geeft deze post u wat meer inzicht in de onderliggende techniek en logistiek van HPC.
Abonneren op:
Posts (Atom)