Zavádění výpočetní techniky v paměti se stále zrychluje. Zralá řešení umožňují organizacím získat rychlost a rozsah zpracování databáze, které vyžadují pro svou digitální transformaci a iniciativy zákaznických zkušeností s více kanály. Například investiční společnost Wellington Management použila výpočetní platformu v paměti k urychlení a škálování své investiční knihy rekordů (IBOR), jediného zdroje pravdy pro pozice investorů, expozice, ocenění a výkon. Všechny transakce v reálném čase, veškerá související aktivita na účtu, data třetích stran, jako jsou tržní kotace, a všechny související aktivity back-office procházejí jeho IBOR v reálném čase. IBOR také podporuje analýzu výkonu, hodnocení rizik, shodu s předpisy a další. V různých testech fungovala nová platforma nejméně desetkrát rychleji než starší systém společnosti postavený přímo na relační databázi Oracle.
Nikita Ivanov je technickým ředitelem společnosti GridGain Systems, která vyvíjí řešení pro výpočet v paměti.
Gartner předpovídá, že do roku 2019 bude 75 procent vývoje nativních cloudových aplikací využívat výpočet v paměti nebo služby využívající výpočet v paměti, aby umožnilo hlavním vývojářům implementovat vysoce výkonné a masivně škálovatelné aplikace. Vývojáři, kteří začínají s technologiemi výpočetní techniky v paměti, si však musí osvojit porozumění různým strategiím pro přidání technologie do svých architektur. Ve většině případů je prvním rozhodnutím, které musí učinit, zda nasadit datovou mřížku v paměti nebo databázi v paměti. Toto rozhodnutí bude založeno především na tom, zda mají v úmyslu zrychlit stávající aplikace, plánovat vývoj nových aplikací nebo zcela prověřit ty stávající, nebo vidět příležitost udělat obojí. Musí také zvážit, která vrstva bude sloužit jako systém záznamu, výpočetní vrstva v paměti nebo podkladová datová vrstva.
Pojďme prozkoumat výpočetní technologie v paměti potřebné k implementaci těchto strategií.
Paměťové datové mřížky
Mřížka dat v paměti (IMDG) kopíruje data na disku z databází RDBMS, NoSQL nebo Hadoop do paměti RAM, kde probíhá zpracování bez zpoždění způsobených neustálým čtením a zápisem na disk. Vložená mezi aplikační a datovou vrstvu je datová mřížka v paměti nasazena na cluster serverových uzlů a sdílí dostupnou paměť a CPU clusteru. Ať už je nasazeno ve veřejném nebo soukromém cloudovém prostředí, v místním prostředí nebo v hybridním prostředí, lze datovou mřížku v paměti škálovat jednoduše přidáním nového uzlu do clusteru. Některé datové mřížky v paměti mohou podporovat transakce ANSI-99 SQL a ACID, pokročilé zabezpečení, strojové učení a nativní integrace Spark, Cassandra a Hadoop.
Datová mřížka v paměti je jednoduchým a nákladově efektivním řešením pro stávající aplikace. Mnoho datových mřížek v paměti však vyžaduje, aby všechna data v podkladové diskové databázi zapadala do paměti, což vyžaduje, aby si podnik koupil dostatek paměti pro uložení všech dat. Vzhledem k tomu, že paměť je stále dražší než disk, může mnoho společností upřednostňovat uchování některých dat pouze na disku. Nové architektury zaměřené na paměť to řeší zpracováním proti celé datové sadě, i když jsou některá data uložena na disku. Tato funkce „trvalého ukládání“ umožňuje, aby množství dat překročilo množství paměti. To znamená, že data lze optimalizovat, takže všechna data jsou uložena na disku, ale častěji používaná data taky je umístěn v paměti, zatímco zřídka použitá data jsou uložena pouze na disku. Další klíčovou výhodou je, že po restartu může systém s trvalým úložištěm začít okamžitě zpracovávat datovou sadu na disku, aniž by čekal na načtení datové sady do paměti.
Workday, poskytovatel řešení v oblasti financí a HR SaaS obsluhující společnosti Fortune 50, souvisí s tím, jak využívá datovou mřížku v paměti ke zpracování přibližně 189 milionů transakcí denně, přičemž vrchol dosahuje kolem 289 milionů denně. Pro srovnání, Twitter zpracovává přibližně 500 milionů tweetů denně.
Databáze v paměti
Databáze v paměti (IMDB) je nejvhodnější pro nové nebo nově navržené aplikace. Jedná se o plně vybavenou samostatnou databázi běžící v paměti, která podporuje rozhraní API pro zpracování dat, jako je ANSI-99 SQL, klíč-hodnota, výpočet a strojové učení. Výhodou databáze v paměti oproti datové mřížce v paměti je, že architektura je snížena ze tří vrstev (aplikace, v paměti a data) na dvě. Nevýhodou je, že ji nelze použít pro existující aplikaci bez zvednutí a posunu datové sady z existující databáze. Kromě toho, protože databáze v paměti slouží jako systém záznamu, musí řešení zahrnovat strategii ochrany dat v případě výpadku. Tato strategie může být podobná schopnosti trvalé paměti diskutované pro datové mřížky v paměti, nebo může zahrnovat použití energeticky nezávislé paměti RAM, nové technologie, která bude v budoucnu pravděpodobně hrát stále významnější roli.
Hlavní banka se 135 miliony zákazníků dnes používá databázi v paměti s trvalou schopností úložiště vyvíjet architekturu webového měřítka, která dokáže zpracovat až 1,5 PB dat spolu s požadovaným objemem transakcí. Toto řešení slouží jako systém záznamu a nesedí na vrcholu existujícího datového úložiště.
Paměťové výpočetní platformy
Organizace vyvíjející dlouhodobou strategii, která zahrnuje zrychlení stávajících aplikací a zavedení nových, se mohou rozhodnout pro výpočetní platformu v paměti, která kombinuje škálovatelnost IMDG s plnou schopností relační databáze IMDB. In-memory computing platform, Proto, can be used to accelerate existing applications or be the base for the creation of new or rearchitected applications that can take advantage of distributed computing and a persistent store.
Kromě rozhodnutí, která technologie nejlépe vyhovuje jejich potřebám, by organizace měly zvážit, zda vyžadují další podpůrné technologie v paměti, například:
- Streamovací analytický modul pro správu veškeré složitosti toku dat a zpracování událostí.
- Rámec kontinuálního učení založený na hlubokém učení, který slouží jako stavební kámen toho, co Gartner označuje jako HTAP v procesu (hybridní transakční / analytické zpracování); to znamená schopnost aplikovat strojové učení nebo analýzu hlubokého učení na provozní data v reálném čase.
Výpočetní technologie v paměti nyní používají přední digitální podniky a v budoucnu se ještě více rozšíří. Čím dříve získáte důkladné znalosti o strategiích nasazení a schopnostech výpočetní techniky v paměti, tím dříve budete moci vaší organizaci pomoci získat konkurenční výhodu, kterou potřebuje.
