More

    A Cloud Data Engineer Kar megnyitása a GeekBrains-nál

    Új keresleti különlegesség junior és közép szakembereknek 2020. december 28., 6 perc8https: //d2xzmw6cctk25h.cloudfront.net/post/2501/og_image/a727cea93faf49f19a2338e1bd4be936.png

    Most nagy igény van azokra a szakemberekre, akik tudnak dolgozni az adatokkal, és olyan rendszereket hoznak létre, amelyek képesek ezeket az adatokat feldolgozni és használni. De azok, akik tudják, hogyan kell csinálni a “felhőkben” – távoli hozzáféréssel rendelkező virtuális szerverek, különösen igényesek.

    Az általános (nem felhőalapú) üzleti infrastruktúra a kiszolgáló állványok, rendszergazdák, memória problémák, biztonsági problémák és gyakori alkatrész-vásárlások. Pénztakarékosság céljából sok vállalat átáll a felhő-infrastruktúrára, beszerzi a felhőalapú kiszolgálókat és a szervizelt szolgáltatásokat egy szolgáltatótól. Egy ilyen megoldás teljesítménye fejfájássá válik a szolgáltató számára.

    Az elmúlt 10 évben sok, teljesen különböző méretű vállalat már felhőmegoldások segítségével megszervezte üzleti folyamatait és az adatokkal dolgozik. Ez egy komoly tendencia, amelynek növekedése és üteme a következő 10 évben ugyanolyan intenzív lesz.

    Érdekes, hogy a koronavírus-járvány 2020-ban 8% -kal csökkentette az információs technológiára fordított globális kiadásokat, de az összes informatikai szegmens közül a felhők jelentik az egyetlen kivételt. 2020-ban a globális felhőalapú piaci piac meghaladta az összes 330 milliárd dollárt. John-David Lovelock, a Gartner kutatásért felelős alelnöke szerint 2020-ban a felhőkiadások elérték azt a szintet, amelyre várhatóan csak 2023-ban és 2024-ben lehetett számítani. A Cloud Tech szerint a nyilvános felhőkre fordított kiadások várhatóan 500 milliárd dollárra nőnek 2023-ig.

    Ki a Cloud Data Engineer és mit csinál

    A Cloud Data Engineer fő feladata, hogy felhő-infrastruktúrát és szolgáltatásokat használjon, hogy segítse az üzleti életet egy olyan termék felépítésében, amely bizonyítékokon alapuló menedzsment-döntéseket hoz – ezt hívják Data Driven Decisions Making, DDDM.

    A DDDM magyarázata a Walmarttal

    A Walmart a világ legnagyobb kiskereskedője, több mint 20 000 üzlettel 28 országban. A vállalat építi a világ legnagyobb magánfelhőjét, amely elég nagy ahhoz, hogy óránként 2,5 petabájt adatot dolgozzon fel. Ezen információk értelmezése érdekében a Walmart létrehozta azt, amit Data Caféjának nevez – lényegében a legmodernebb agytrösztnek.

    A Data Café segítségével hatalmas mennyiségű belső és külső adatot gyorsan modellezhet, feldolgozhat és vizualizálhat. Navin Peddameil, vezető statisztikai elemző a következőképpen magyarázta a Data Café fontosságát és értékét: “Ha nem tud információt szerezni, amíg nem elemzi az eladásait egy hétig vagy egy hónapig, akkor egyszerűen veszít az eladásokból ez idő alatt.”

    Ezért létfontosságú az analitikai információkhoz való gyors hozzáférés. Például egyszer az egyik termékcsoportban nem tudták megérteni, hogy miért hirtelen esett egy adott termékkategória értékesítése. Az adatok megvizsgálása után gyorsan meglátták, hogy a téves számítások miatt az árukat magasabb áron állították ki, mint kellett volna.

    OLVASS TOVÁBB:  Adattudomány: válasz a Megafonnal való találkozás kérdéseire

    A Data Café automatikus riasztásokat is biztosít. Amikor bizonyos mutatók bármely osztályon egy meghatározott küszöb alá esnek, a csapatot figyelmeztetik, hogy gyorsan találjon megoldást. Például halloween idején az értékesítési elemzők valós időben láthatták, hogy egy adott süti egy sora a legtöbb üzletben nagyon népszerű volt, és két helyen egyáltalán nem volt értékesítve. A riasztás gyors vizsgálatot indított, amelyből kiderült, hogy a raktárban lévő áruk ellenőrzésének hibája miatt a sütik nem kerültek a polcokra. Az üzlet ekkor azonnal helyre tudta hozni a helyzetet.

    A Cloud Data Engineer egy ilyen rendszer felhasználója. Nem építi fel őket, mint gondolnánk, hanem adatok feldolgozására, üzleti érték kinyerésére használja fel őket. A Walmart példában a mérnökök segítettek felépíteni az összes adatátalakítási folyamatot és bonyolult folyamatokat szervezni, amelyek lehetővé teszik az adatközpontú döntéshozatalt.

    OLVASS TOVÁBB:  "Nem ülök nyugodtan, és mindig azt mondom, hogy" Igen "!"

    A Cloud Data Engineer Kar megnyitása a GeekBrains-nál

    Miben különbözik a Cloud Data Engineer a Data Engineertől?

    A Cloud Data Engineer mindent megtehet, amit a Data Engineer – ő felelős az adatok kinyeréséért, átalakításáért, betöltéséért és feldolgozásáért. De felhőszolgáltatásokat használ. Tudja, hogyan kell adatokat továbbítani a felhőbe, kombinálni a felhő és a helyszíni megoldásokat. A Cloud Data Engineer méretezhető, hibatűrő, hatékony adatfeldolgozási megoldásokat is készít a felhőszolgáltatások – S3, Kubernetes, DBaaS, Hadoop, Monitoring-aaS – felhasználásával, miközben megérti a felhőmegoldások erősségeit.

    Amikor az új termékfejlesztés gyorsasága, a rugalmasság és a skálázhatóság prioritást élvez az üzlet számára, az adatfolyamatok átkerülnek a felhőbe. A Cloud Data Engineer olyan személy, aki segít a felmerülő problémák megoldásában. Egy ilyen szakember platformokat épít az adatokkal való munkavégzéshez, valamint az adatlakokat és a felhőben történő tárolást.

    A kari program szerzőiről

    A Cloud Data Engineer programot Alexander Volynsky, a Mail.ru Cloud Solutions felhőplatform építésze fejlesztette ki. Alexander és munkatársai ismerik a piac főbb fájdalmait és szükségleteit, ezért a program figyelembe veszi az összes releváns eszközt és megoldást, amelyek kidolgozása segít Önnek keresett szakemberré válni.

    Ki alkalmas a képzésre, mennyi ideig tart és milyen lehetőségeket kínál a hallgatók számára

    A program tapasztalt szakemberek – nagy adatelemzők, elemzők és adatmérnökök, adatkutatók, fejlesztői szakemberek és rendszergazdák – számára alkalmas. A kényelmes tanuláshoz a következő eszközökre lesz szükség:

    • SQL : adatbázis alapjai, adattárolási sémák, adatátviteli technológiák (ETL), indexek, elsődleges kulcsok
    • Python : Pandas, Numpy használata, adatok lekérése az adatbázisból és betöltés az adatbázisba
    • Linux : parancssor, csomagok és technológiák (Python, Java) telepítése, virtuális gépek.
    OLVASS TOVÁBB:  Az ügyfelek helytelen beállításokat (IP-címeket) kapnak a DHCP-n keresztül

    A tudás plusz lesz:

    • MapReduce, Hive, Spark
    • Scala
    • a DWH építészet alapjai
    • NoSQL
    • hozzáférési mátrixok és hálózati infrastruktúra

    A kar időtartama 10-11 hónap. Ezt követően a hallgatók bármely felhőszolgáltatásban dolgozhatnak elemzési, adatbázis-fejlesztési és gépi tanulási feladatokkal. Tanuld meg önállóan kiválasztani és konfigurálni a felhőalapú platformokon a szükséges szolgáltatásokat a vállalkozás által meghatározott feladatok megoldásához. Ezenkívül a karon végzett hallgatók modern megoldásokat használhatnak az adatminőség-menedzsmentre, a metaadatokra és a gépi tanulási modellek kimenetére a Kubernetes használatával.

    A képzés során a hallgatók sok gyakorlatot fognak gyakorolni a Mail.ru Cloud szolgáltatással, valamint egyéb eszközökkel:

    • A Kubernetes nyílt forráskódú szoftver a konténeres alkalmazások telepítésének, méretezésének és kezelésének automatizálására.
    • A Kubeflow egy nyílt forráskódú gépi tanulási platform, amelyet gépi tanulási folyamatok felhasználására terveztek a Kubernetesen futó összetett munkafolyamatok szervezéséhez.
    • A ClickHouse egy nyílt forráskódú oszlopos elemzési adatbázis-kezelő rendszer, amely lehetővé teszi elemző lekérdezések valós idejű futtatását strukturált nagy adatokon.
    • A Hadoop a nagy adatok tárolásának és feldolgozásának alapvető technológiája; szabadon elosztott segédprogramok, könyvtárak és keretrendszer a több száz és ezer csomóponton álló fürtökön futó elosztott programok fejlesztésére és végrehajtására.
    • A Spark egy nyílt forráskódú keretrendszer a strukturálatlan és félig strukturált adatok elosztott feldolgozásának megvalósításához, amely a projektek Hadoop ökoszisztémájának része.
    • A NiFi egy olyan eszköz, amelyet a szoftver rendszerek közötti adatáramlás feldolgozásának automatizálására terveztek.
    • Az Airflow a kötegelt adatfeldolgozási folyamatok egyszerű fejlesztésének és támogatásának eszköze.
    • A Kafka egy elosztott szoftverüzenet-közvetítő, amely támogatja a tranzakciókat, amikor rendezvényfogyasztókkal és szolgáltatókkal dolgozik.

    És nem feledkezünk meg a JupyterHubról, a Greenplumról, az MLflow-ról, az Amundsenről, a Linuxról, a Dockerről és a Gitről sem.

    Haladó ismeretek birtokában a hallgatók új pozíciókra pályázhatnak – Cloud Data Engineer, Data Engineer vagy ETL fejlesztők. Egyedül a HH.ru-nál 2100 szabad állás van Oroszországban.

    A junior szakemberek fizetése 100 és 150 ezer rubel között mozog, a közvetítők esetében – 150 és 250 ezer rubel között, az idősek pedig 250 és 400-500 ezer rubel között, a szakértelemtől, a vállalattól és a szakember vezetői munkaterhelésének szintjétől függően.

    OLVASS TOVÁBB:  Adattudomány: válasz a Megafonnal való találkozás kérdéseire

    A karról, a tanárokról és a tanulási körülményekről többet az oldalon talál.

    Azt is javasoljuk, hogy olvassa el a Mail.Ru Cloud Solutions “Felhős holnap” című IT magazinjának három érdekes cikkét:

    • Mik a felhőszerverek: miért megbízhatóbbak és jövedelmezőbbek, mint a hagyományos hardverek?
    • Mik a magán-, az állami és a hibrid felhők: mi a különbség és hová kell átvinni a vállalati szolgáltatásokat
    • Miért lehetetlen a fenntartható üzleti fejlődés felhők nélkül: 5 jó ok a felhőszolgáltatások használatára

    Friss cikkek

    A kattintás átlagos költsége a Yandexnél 2020-ban harmadával csökkent

    A Google csak 4% -kal rendelkezik. Az Aori platform szakemberei összefoglalták a kontextuális reklámozás eredményeit az elmúlt évben Oroszországban. Kutatásuk során a szakértők...

    B2B tartalommarketing: Hogyan csinálják a vállalatok a vállalati blogot [kutatás]

    A blogkutatás adaptált fordítása 502 B2B vállalat mintáján. Szeretjük a Backlinko SEO Research-t a nagy mintái miatt. A blog kutatásához lefordítottuk a Google...

    Hogyan tarthatjuk meg a copywritert a keresletben

    Az összes digitális irány között a copywriting nagyon alacsony belépési küszöbértékű terület volt és marad. Szinte minden olyan ember, aki képes többé-kevésbé folyékonyan írni,...

    Hogyan hozhatjuk ki a legtöbbet a YouTube-forgalomból

    A SEOnews továbbra is érdekes konferencia-előadások után kutat, és teljesítményértékeléssel ismerteti Önt. Ma a NaZapad 15 konferencia felvétele került a középpontba, amelyet a SeoProfy...

    Python fejlesztő: mi a teendő, ha megtanultad az alapokat

    Választás a Keras és a PyTorch között, és a megoldás magyarázata 2023. január 18., 12 perc A legtöbb kezdő fejlesztő ismeri a Python...

    Kapcsolódó történetek

    HOZZÁSZÓLOK A CIKKHEZ

    Kérjük, írja be véleményét!
    írja be ide nevét

    Maradjon op - Ge a napi híreket a postaládájában