Naspäť na novinky

ETL bez serverov = ETL bez starostí

Aktuálne je viacero možností ako realizovať ETL proces bez serverov. Krátko si ich popíšeme na službách v cloude AWS.

AWS Glue

Jednou zo základných služieb pre ETL proces je služba AWS Glue. Tú aj AWS prezentuje ako ETL bez infraštruktúry. V princípe sa jedná o exekúciu Spark-ových úloh realizovaných na škálovanej infraštruktúre AWS. Jednotlivé úlohy možno písať v Python alebo Scala a distribuovaným spôsobom sú exekuované nad dátami umiestnenými v objektovom úložisku S3 (ďalšia služba bez serverov). AWS Glue umožňuje prehliadať dáta, transformovať ich a robiť dostupnými pre prehliadanie a dopytovanie prostredníctvom SQL. Zjednodušene možno povedať, že dáta (napríklad v CSV či Parquet) sú spracované do štruktrúry a následne k nim možno pristupovať ako k tabuľke. Nezávisle na tom aká je veľká a z koľkých súborov sa skladá. Ďalšími zdrojmi, môže byť relačná databáza (AWS ich poskytuje niekoľko, napríklad aj PostgreSQL, či Oracle), Mongo DB alebo iná databáza prístupná cez JDBC konektor.

Pre štruktúrovanie semi-štruktúrovaných dát poskytuje podporu AWS Glue Catalogue, čo je metadata katalóg. Je postavený na Hive Meta katalógu (podporuje Hive DDL) a aj API má zhodné s Apache Hive Meta katalógom. V ňom sú uložené informácie o tabuľkách, stĺpcoch, partíciách a pod. Okrem katalógu dát je práca s dátami podporená aj ďalšou službou – registrom schém.

Spracovanie zdrojových dát je úlohou crowl-erov, čo sú joby – úlohy exekuované v určený čas alebo na základe udalosti. Jednotlivé úlohy možno samozrejme aj plánovať, či radiť do nadväzujúcich krokov a tvoriť workflow.

AWS Lambda

Zaujímavou možnosťou pre využitie v procese ETL je použitie služby AWS Lambda. Jedná sa o službu, kde sú jednotlivé časti spracovania premietnuté do kódu a priamo ten je vykonávaný službou AWS Lambda. Ide o „code-execution engine“, kde napísaný kód je spustený na základe udalosti. Či už z inej AWS služby (napr. pridanie súboru do S3) alebo z plánovača alebo služby na riadenie tokov dátového spracovania.
Kusy kódu, sú vo forme funkčných celkov, ktoré môžu byť zbalené aj do containerov. Podporované jazyky sú Node.js, Python, Ruby, Go, Java a C#. Samozrejme, kód v containery môže byť akýkoľvek. Veľkosť containerov je limitovaná na 10 GB a alokovaná pamäť pre každú funkciu môže byť až 10 GB. Funkcií pre jedno konto môže bežať naraz až tisíc. Životnosť behu kódu (funkcie) je obmedzená na 15 minút. Pre náročnejšie úlohy sa predpokladá využitie paralelného behu.

AWS Batch

Komu by nepostačoval pre úlohy 15 minútový časový rámec pre jednu úlohu, môže využiť službu AWS Batch. Ide znova o službu, kde sa nepredpokladá starostlivosť o servery. V tomto prípade to však nie je úplne bez serverov. AWS Batch je služba kde môže používateľ spúšťať náročné dávkové úlohy na elastickom klastri serverov alebo containerov. Pre beh serverov sa využívajú štandardné obrazy inštancií EC2 a pre containery je to služba ECS Fargate (de facto platforma pre beh containerov as a service). Odpadá teda starostlivosť o servery, ich administrácia, udržiavanie a pod. Dávková úloha funguje tak, že AWS Batch iniciuje „vznik“ clustra serverov, na nich beží úloha, pokojne aj hodiny či dni. Po dobehnutí úlohy sú servery alebo containery „vypnuté“ a „zahodené“.

Služba je vhodná na dávkové spracovanie dát, obmedzenie prakticky neexistuje, pretože limitom je len či je schopná bežať na operačných systémoch podporovaných AWS, resp. v containeroch podporovaných AWS. Služba je „zdarma“, platí sa za spotrebované sekundy použitého výkonu.

Amazon Athena

V rámci procesu ETL je spravidla nutné k dátam pristupovať aj pre dotazovanie, či prehľadávanie. Na tieto úlohy je určená služba Amazon Athena. Ide o interaktívny dotazovací „engine“, kde používateľ pristupuje k dátam prostredníctvom JDBC konektora a cez SQL dotazy prehliada dáta, prípadne ich transformuje, agreguje, a pod.
Dáta uložené vo forme súborov sú uložené v úložisku S3. Amazon Athena je integrovaný s AWS Glue Catalogue a teda pre používateľa vystupujú ako tabuľky, či databázy. Nezávisle na tom aké veľké sú dáta, a v koľkých súboroch sú reálne uložené. Samozrejme, dotazy možno aj uložiť a volať prostredníctvom plánovača (služba AWS Step Functions) alebo na základe udalosti, či volania cez API.

Ide o službu bez serverov a o výkonnosť a škálovanie sa stará služba samotná. Spoplatnená je vo forme poplatku za objem prečítaných dát (5 dolárov za 1 TB dát).

Táto služba je taktiež primárnou službou pre prístup nástrojmi pre business inteligence, či reporting. Protokoly ODBC a JDBC umožňujú pripojenie napríklad z Qlik, Tableau, DBeaver či iných obdobných nástrojov pre manipuláciu s dátami prostredníctvom SQL jazyka.

Záver

Záverom možno konštatovať, že v AWS cloude je možné vybudovať kompletné spracovanie dát bez potreby jediného administrátora serverov, či infraštruktúry. Ďalšou výhodou je, že spôsob spoplatnenia je striktne „pay per use“, teda platí sa len za spotrebovaný výkon a nie je potrebné nič alokovať. Súvisiace služby ako metadata kalatóg, plánovač spracovania, dizajnéry tokov a pod. sú zdarma.

Autor

Miloš Molnár
Grow2FIT BigData Consultant

Miloš má viac ako 10 ročné skúsenosti s návrhom a implementáciou BigData riešení v cloud-ovom aj on-premise prostredí. Špecializuje sa na distribuované systémy, spracovanie dát a dátovú vedu využitím technológií ako Hadoop a cloudových služieb (AWS, Azure). Spolu s tímom dodal Miloš množstvo aplikácií pre dávkové aj streaming-ové spracovanie dát.
Má skúsenosti s dodávkou riešení pre korporátnych klientov ale aj pre start-upy. Pri návrhu dátových architektúr vyznáva princípy otvorených riešení, nákladovej efektívnosti a udržateľnosti v špecifickom prostredí klientov. Samozrejme, v zhode so stratégiou klienta a biznis architektúrou.

Celý konzultačný tím Grow2FIT: Náš tím

Súvisiace služby

• Databázové riešenia
• DevOps

Naspäť na novinky

Prichádza čas QR kódov a okamžitých (instantných) platieb

Čo to prinesie?

V prvom rade veľké možnosti pre podnikateľov a spotrebiteľov (občanov) zaplatiť za služby pripadne obdŕžať úhradu za dodaný tovar v reálnom čase.
V druhom rade dáva možnosť klientom zaplatiť na internete za služby aj bez použitia platobnej karty (alternatívny spôsob platby mimo kartovej schémy bola dlhodobá požiadavka podnikateľov z dôvodu vysokého zaťaženia poplatkami za prijímanie platieb kartou).

Čo  sa zmenilo?

Banky v EU a tiež banky v SR sa pripojili do systému kde je možne do 10 sekúnd vykonať platbu (aj s overením či účet príjemcu je správny a platný).

Banky použili systémy ECB (European Central Bank), ktoré im umožnili rýchlo presúvať financie v rámci danej SEPA Instantnej schémy.

Na to aby sa dali instantne služby použiť čo najefektívnejšie na úhradu za služby je potrebné mať efektívny spôsob prijímania platieb a to pomocou QR kódu prípadne univerzálnej platobnej linky. QR kód / platobná linka obsahuje všetky dôležité náležitosti aby sa platba dala vykonať. Číslo účtu príjemcu, sumu a tiež môže  obsahovať aj identifikátor platby (E2E referenciu alebo referenciu platby). QR kód / platobná linka umožní po nasnímaní platiteľom okamžité spracovanie v internet bankingu / mobile bankingu finančnej inštitúcie a za použitia okamžitej platby zaslať finančné prostriedky na účet príjemcu a ten môže po pripísaní okamžite finančnými prostriedkami disponovať (nie ako u kartovej schémy kde prostriedky prídu na účet až o niekoľko pracovných dni).

QR kódy a ich štruktúra môže mať rôzne definície a štandardy. Vo svete sa používa niekoľko (v prípade záujmu Vám radi poradíme).

Na čo môžeme Instantnú schému s QR kódmi využiť? Popíšeme na príklade živnostníka.

Živnostník po vykonaní dohodnutej práce môže na základe nim vystaveného QR kódu dostať okamžite zaplatené  za svoje služby. Nemusí čakať niekoľko dni na zaplatenie faktúry alebo mať platobný terminál (kde by po zaplatení prišla platba o niekoľko dní), prípadne žiadať platiteľa o platbu v hotovosti (následne je potrebné vložiť peniaze na účet). Jednoducho po vytvorení QR kódu / platobnej linky a jej načítaní platiteľom (cez mobilnú aplikáciu) dostane okamžite peniaze na svoj podnikateľsky účet a v prípade že v aplikácii má možnosti generovania faktúry / bločku ten zašle elektronicky platiteľovi, pripadne dané údaje zaeviduje okamžite vo svojom účtovníctve.

Dané riešenie je možné využiť aj v iných oblastiach napríklad malé prevádzky pre ktoré by bola kartová schéma a terminál príliš nákladná, prípadne využiť možnosti QR kódov nie iba na vykonávanie platieb ale aj na ponúkanie rôznych zľavových schém.

Naspäť na novinky

Aký bol prvý rok Grow2FIT?

Za uplynulých 12 mesiacov sa taktiež ukázalo, že myšlienky na ktorých sme Grow2FIT postavili našli odozvu na trhu:

• Vyhľadávame a prinášame inovatívne témy a riešenia.
• Intenzívne sa prispôsobujeme potrebám a možnostiam klientov (z pohľadu rozsahu a termínov riešenia čí veľkosti alokácií).
• Kladieme veľký dôraz na to aby naši spolupracovníci mali zaujímavé a náročne projekty a tým rástlo know-how celej firmy.

V roku 2021 sa nám podarilo z nuly vybudovať tím 30 IT špecialistov. A čomu sme sa venovali? Napríklad aj týmto zaujímavým projektom:

• Sme nadšení, že pracujeme pre slovenskú spoločnosť Solargis s celosvetovo úspešnými produktami. Náš tím 6 analytikov a developerov spolu s interným tímom Solargis vyvíja riešenia poskytujúce meteorologické dáta pre prevádzkovateľov fotovoltaických elektrárni.
• Nadviazali sme spoluprácu so spoločnosťou Greyson Consulting – jednou z top konzultačných spoločnosti v Česku a na Slovensku. Spoločnosti Greyson poskytujeme konzultačné služby v oblasti Bankingu a Big Data pri návrhu a implementácií digitálnej banky pre veľkú rakúsku bankovú skupinu. Taktiež pomáhame pri spájaní 2 českých bánk.
• Konzultačné služby a dodávky v oblasti DevOps a modernej infraštruktúry (Kubernetes, Ceph, MaaS) poskytujeme slovenskej spoločnosti InterWay.
• V minulom roku sme poskytli viacero tímov alebo jednotlivých IT špecialistov úspešným IT dodávateľom – Unicorn Systems, ADASTRA, CGI.
• Na konci roka sme uzatvorili dohodu a od nového roka bude náš 7-členný tím pracovať na návrhu a implementácií EU Sovereign Cloudu. Po dokončení bude tento cloud poskytovať EÚ spoločnostiam podnikajúcim v citlivých oblastiach (Public, Zdravotníctvo…) možnosť prevádzkovať svoje služby v EU cloude a zbaviť sa závislosti na prevažne US cloudových prevádzkovateľoch.

Našou víziou je vybudovať medzinárodný tím IT špecialistov a tým mitigovať riziko nedostatku špecialistov na Slovenskom pracovnom trhu. Veľa energie sme tak v minulom roku venovali nastaveniu náboru v Balkánskych krajinách (Srbsko, Bosna a Hercegovina, Chorvátsko, Macedónsko) a dnes máme v tíme prvých kolegov z týchto krajín.

Dôležitým míľnikom firmy bol príchod Petra Brtáňa v lete ako druhého Co-Foundera čo pomohlo zintenzívniť naše obchodné a delivery aktivity v 2. polovici roka a pripraviť sa na náš cieľ v roku 2022 – ďalší rast na domácom Česko-Slovenskom trhu a expanzia do zahraničia.

Všetkým obchodným partnerom a spolupracovníkom ďakujeme za dôveru, korektnú spoluprácu a férové vzťahy – bol to skvelý rok a do nového roku vám želáme zdravie a chuť púšťať sa do nových dobrodružstiev.

Naspäť na novinky

Moderný prístup k integračnej platforme (Service Mesh)

Rýchly rozvoj nových technológií ako napr. kontajnery (Kubernetes…) a cloudové technológie (Azure, AWS, Google…) otvára nový typ problémov a výziev. Svet je v tomto smere bezohľadný a držať krok s modernými trendami a technológiami nie je celkom jednoduché.

Previesť všetok existujúci workload do moderných všade skloňovaných kontajnerov tak, aby sme dosiahli ideálny stav „jednofarebného“ technologického stacku, ktorý sa jednoducho udržuje je v mnohých prípadoch nereálne a aj neefektívne. A to ako z hľadiska technologického, tak z hľadiska nákladov. Tento ideálny stav sa veľmi ťažko dosahuje a to zvlášť v prostrediach veľkých spoločností (bánk, poisťovní a podobne).

Novým typom problému, ktorému musíme čeliť je ako všetky workloady hosťované na virtualkách, kontajneroch alebo prevádzkovaných na websphere, weblogic a pod., jednoduchým spôsobom s čo najmenším úsilím zintegrovať dohromady. Akým spôsobom dosiahnuť v takomto heterogénnom prostredí možnosť sledovať jednotlivé prevádzkové služby? Akým spôsobom riadiť prístupy a práva k jednotlivým službám?

Odpoveď je jednoduchá – Service Mesh. Dnešné technológie založené na Service Mesh Vám umožnia:

• riešiť väčšinu týchto výziev a problémy spojené s prevádzkovaním služieb v rozsiahlych prostrediach
• mať nad službami dostatočný prehľad
• zjednodušiť prevádzkovanie distribuovaných aplikácií so všetkými úskaliami, ktoré s týmto súvisia, najmä v kontexte bezpečnosti
• dosiahnuť jasne riadenú distribúciu aplikačných konfigurácii a pokročilé riadenie a management prístupových dát
• realizovať jednoduchšie rôzne deployment stratégie typu Canary-Deployment, Blue-Green-Deployment a ďalšie.

Ako už správne tušíte, tak všetky tieto výhody nakoniec spejú k zrýchleniu a zefektívneniu obrátkovosti release cyklov a uvoľneniu nových aplikácií, funkcionalít v duchu  „time to market“ k zákazníkovi.

Áno, moderne poňatý prístup k Service Mesh je schopný Vám zastúpiť a nahradiť existujúce integračné platformy s pridanou hodnotou. Pre každý účel je nutné zvážiť potreby danej spoločnosti, aby bolo možne identifikovať, akú Service Mesh technológiu je dobré v danom prípade adoptovať.

Najčastejšie v tomto kontexte počúvame: „Nie sme pripravení na túto technológiu.“. Tieto obavy sú zbytočné a v tomto je kúzlo správne zvolenej Service Mesh, ktorá Vám umožní zintegrovať legacy technológie s modernými a to takým spôsobom, ktorý pre Vás nebude znamenať realizáciu veľkých zmien a zásahov do existujúcich aplikácií. A postupne ste schopný realizovať migráciu všetkých aplikácií do kontajnerov alebo ich nechať v pôvodnej podobe.

Pokiaľ Vás zaujímajú konkrétne výhody, ktoré by Vám Service Mesh mohla priniesť vo Vašom prostredí, obráťte sa na nás a radi s vami dohodneme bezplatnú konzultáciu.

Naspäť na novinky

Sourcing s pridanou hodnotou

Hlavným faktorom, ktorý v súčasnosti rozhoduje o úspechu a neúspechu firiem, programov či projektov je kvalita ľudských zdrojov. Ľudský talent sa tak stal najnedostatkovejším zdrojom súčasnosti – dokonca ťažšie dostupným ako kapitál. Súboj firiem na pracovnom trhu je dnes minimálne rovnako silný ako súboj o zákazky a obchodné príležitosti.

Ako hľadať talenty

Z tohto dôvodu firmy, ktoré chcú uspieť v silnej konkurencií musia využívať všetky dostupné formy na hľadanie (a samozrejme aj udržanie) ľudského talentu:

• Interný nábor zamestnancov (prostredníctvom vlastného náborového oddelenia)
• Externý nábor zamestnancov (hľadanie zamestnancov prostredníctvom špecializovaných firiem)
• Využitie služby sourcingu (leasing ľudských zdrojov) – dočasná alokácia zamestnancov špecializovaných externých firiem na vlastné projekty. Najčastejšie dôvody pre využitie služby sourcingu sú nasledovné:
  • Krátkodobá/dočasná potreba ľudských zdrojov – pre prípad nárazového väčšieho počtu projektov alebo potreby dokončiť projekt do stanoveného termínu – v tomto prípade nemá zmysel zamestnávať nových zamestnancov keďže bude problém ich neskôr utilizovať.
  • Chýbajúce špecifické know-how kedy je efektívnejšie zapojiť hotového experta alebo seniora v danej oblasti či už na plnú alebo čiastočnú kapacitu podľa potreby projektu/zákazníka.
  • Alebo jednoducho firma nevie nájsť vhodných ľudí do interného zamestnaneckého pomeru.

Grow2FIT vám ponúka 2 vyššie uvedené služby – sourcing  alebo externý nábor zamestnancov.

Pridaná hodnota Grow2FIT

Prečo by ste si mali vybrať tieto služby práve od našej spoločnosti Grow2FIT?

Veríme, že vďaka nasledovným princípom ponúkame našim zákazníkom unikátne služby, ktoré splnia ich potreby:

• Maximálne prispôsobenie potrebám klienta – ponúkame rôzne formy našich služieb
  • Dlhodobý aj krátkodobý sourcing.
  • Hľadanie zamestnancov do vášho interného zamestnaneckého pomeru = externý nábor.
  • Našich špecialistov poskytujeme na plnú alebo čiastočnú alokáciu, ktorú využijete ak máte drobné, špecifické problémy (v tomto prípade hovoríme o službe Consulting).
• Ponúkame len overených špecialistov
  • Zaviedli sme prepracovaný viackolový náborový systém.
  • Špecialistov zapájame do sourcingových projektov a aj našich custom development projektov, aby získavali čo najširšie skúsenosti.
• Medzinárodné talenty
  • Kvalitné ľudské zdroje hľadáme nie len na Slovensku a v Českej Republike, ale v celej Európe (čo dáva stále väčší zmysel keďže stále viac projektov je možné realizovať vzdialene).
  • Kladieme veľký dôraz na angličtinu a ochotu cestovať v potrebnej miere, pokiaľ to aktuálna pandemická situácia umožňuje (napr. vždy na plánovanie nového šprintu).
• Pomáhame budovať kariéru našich zamestnancov a spolupracovníkov
  • Mimoriadne dbáme na správny kariérny rast našich zamestnancov a spolupracovníkov a snažíme sa im vždy nájsť najvhodnejší projekt vzhľadom na ich osobnostný a profesný stupeň rozvoja.
• Máme široký záber pôsobnosti – primárne sa zameriavame na nasledovné oblasti (ale vieme vám pomôcť aj s ďalšími technológiami)
  • Moderný vývoj (cloud-based applications, containerizácia, microservisná architektúra…) – Java stack, JavaScript frontend frameworks, Kubernetes, OpenShift, Docker, SQL aj NoSQL DB vrátane SDS – Ceph
  • DevOps – CI/CD – automatizácia vývoja, testovania a nasadzovania
  • Moderná infraštruktúra – automatizovaná správa infraštruktúry, návrh cost effective infraštruktúry s komoditným HW
  • DB riešenia – BigData, SDS – Ceph, PLSQL development
  • Testing – riešenia pre automatizované testy, manuálne testy
  • Agilné procesy – coaching, konzultácie
  • Jira a ďalšie Atlassian nástroje – migrácia do Jira cloud, customizácia a integrácia Attlasian nástrojov do Vašej organizácie

Naspäť na novinky

Prínosy moderného DevOps

Tradičné firmy majú základy svojich IT oddelení v období 80. až 90. rokov, silne procesne orientované a často v podobe dedikovaných tímov pre jednotlivé IT zdroje, ako sú storage, networking, security, infraštruktúra a podobne. Používatelia, ktorí potrebujú tieto zdroje, požiadajú o ne pomocou ticketov, ktoré na druhej strane spracuje člen tímu a túto žiadosť vybaví. Toto ticketové manažovanie zdrojov trpí mnohými neduhmi. Na druhej strane je človek, ktorý môže požiadavku pochopiť nesprávne, nedodať v požadovanej kvalite alebo zaniesť ľudskú chybu napríklad v podobe preklepu.

Spracovanie komplexnejších požiadaviek pozostávajúcich z kombinácie týchto zdrojov násobí tieto problémy na vyššej úrovni – jednotlivé tímy majú rôzne priority, motivácie a disciplínu. Vybavenie komplexnejšej požiadavky trvá nesmierne dlho. Náročnosť získať zdroje na svoj projekt vytvára predpoklady na vytvorenie „sivej“ infraštruktúry, napríklad server pohodený kdesi v kancelárii s nainštalovaným posledným Dockerom a podobne, pretože je to „rýchlejšie“. Paralelne vzniká aj potreba akýchsi vybavovačov, ktorých úlohou je tlačiť na to, aby tikety boli riešené, často osobnou návštevou a doslova státím nad človekom, kým nevybaví požiadavku. To vedie k strate motivácie ľudí v tímoch. Celé dni riešia len požiadavky používateľov, a teda akúsi operatívu, často za nimi niekto chodí, s tým že potrebujú práve „toto“ a práve „teraz“. Je teda ľahké pracovať veľa, ale bez toho, aby sa podstata veci významnejšie vyriešila systémovo. Dôsledkom je, že robiť zmeny alebo nasadzovať nové prostredia, v ktorých budú fungovať nové aplikácie, môže trvať týždne až mesiace. To je veľký rozdiel oproti hypotetickému fintech startupu z Ázie, ktorý môže nasadzovať svoju aplikáciu 2× denne bez narušenia chodu služby, a tým rýchlejšie konvergovať k požadovanej funkcionalite.

Samotný DevOps je však len vyvrcholenie „agilizácie“ organizácie a snaha prevádzkovať ho v klasickom korporátnom prostredí je odsúdená na neúspech, pretože transakčné náklady na získanie IT zdroja sú vysoké.

Prínosy moderného DevOps

Pojem DevOps býva často zneužívaný len ako trendové pomenovanie starého administrátorského tímu. Koncept DevOps vznikol z potreby rýchlej reakcie na prudko sa meniacu situáciu v mladých internetových startupoch.

Jeho začiatky siahajú do spoločností typu Facebook, respektíve Google, ktoré rástli extrémne rýchlo – denne im pribudlo
milión nových používateľov, ktorí chceli službu využívať, čo vytváralo obrovský tlak na rýchly sled zmien. Technológie a procesy, ktoré fungovali pri menšom počte používateľov, rýchlo prestávajú fungovať a musia sa obmieňať. Preto prevádzka počas takéhoto rastu vyzerá skôr ako výmena motora a kolies na aute počas plnej rýchlosti na diaľnici bez
prerušenia chodu.

Medzi hlavné prínosy zavedenia princípov DevOps považujeme:

• vyššia kvalita riešenia
• automatizácia = nižšia chybovosť
• rýchlejší time to market
• nižšia fluktuácia IT špecialistov z dôvodu stereotypnej práce
• vyššia angažovanosť zamestnancov

Predpoklady

Zavedenie moderného DevOps vyžaduje splnenie určitých predpokladov:

• Kvalitný a skúsený realizačný tím
• Podpora manažmentu
• Podpora end-to-end zmien (technologických, procesných a organizačných)
• Zapojenie ostatných organizačných jednotiek v IT do zmien