More

    Kérdések az adatszakértők karrierjéről: mérnökök, elemzők,Fejlesztők-Mediascope answers

    A kezdőknek szóló követelményekről, az interjúk hibáiról és az iparág jövőjéről-válaszok Mediascope11 március 202110 минут7926https://d2xzmw6cctk25h.cloudfront.net/post/2569/og_image/c362c47b424236fa6c1f170ba9e1a889.jpg

    Továbbra is érdekes anyagokat teszünk közzé a geekbrains és a Mediascope közös találkozójáról. Nemrégiben beszéltünk arról, hogy partnereink hogyan működnek az adatokkal. Ma pedig válaszolnak a diákok kérdéseire.

    Jogi nyilatkozatként a szakértők emlékeztetnek arra, hogy a kérdésekre adott válaszok a személyes tapasztalataikat tükröző magánvélemények. A természetben nincs egyetlen helyes módszer vagy egyértelmű válasz ezekre a kérdésekre, mivel mindig sok olyan feltétel és fenntartás van, amely korlátozza a válasz hatókörét.

    Milyen követelmények vonatkoznak A kezdő szakemberekre az adatelemzés területén?

    Minden olyan szakembernek, aki az adatokkal fog dolgozni, képesnek kell lennie arra, hogy feldolgozza. Ez a képesség sokkal fontosabb, mint az alkalmazott programozási nyelvek és módszerek. Még akkor is, ha a shell|Bash szöveges fájlok feldolgozásáról beszélünk.

    Természetesen az előny az SQL vagy mondjuk a Python ismerete lesz. De fontos megérteni az adatokkal való munka sajátosságait, valamint a valódi problémákat, amelyekkel szembe kell néznie — adatminőség, formátumok specifikációja, adattípusok, etc.In amellett, hogy a készségek az adatfeldolgozás, szükség van egy analitikus gondolkodásmód, valamint a képesség, hogy megközelíteni a feladatot a jobb oldalon-ez különösen fontos az adattudósok, elemzők.

    A Mediascope-ban velünk készített interjú során különböző kérdésekkel szembesülhet. Például egy adatelemző és adatkutató szerepét fel lehet kérni egy felső szintű algoritmus leírására a következő probléma megoldására: “hogyan használhatom a TV-nézési adatokat gyermekek megtalálására?”.

    Ami az adatmérnököket illeti, itt inkább a bejelentett programozási nyelvek ismeretének mélységét ellenőrzik. Maguk a kérdések nagyon változatosak — az egyszerű elméleti megoldástól az igazán összetettig, és valós programozási tapasztalatot igényelnek a megoldáshoz, még akkor is, ha az az intézet keretein belül van. Ugyanakkor nincs egyetlen helyes válasz néhány kérdésre, néha a jelöltet arra kérik, hogy magyarázza meg az algoritmus egészét anélkül, hogy leírná a megvalósítás technikai részleteit.

    Maguk az SQL feladatok nem sok értelme alkalmazni — ugyanazok, mint az interneten végzett online tesztekben. Bár minden munkáltatónak mindig van egy Korona feladata az interjúban, amelyben véleménye szerint a jelöltet teljes mértékben nyilvánosságra hozzák. De az ilyen titkokat általában nem adják el.

    – Milyen dolgokra kell különös figyelmet fordítania az Adattudomány kezdeti pozíciójának kérelmezésekor?

    Nagyon fontos, hogy a jelölt megértse, mit jelent a potenciális munkáltató ezzel a szóval. Néha a big name Data Scientist elrejthet egy Python programozót, aki egy nagyon egyszerű algoritmus segítségével továbbítja az adatokat az egyik adatbázisból a másikba. Vagy a DS elrejti az analitika egy nagyon specifikus területét, például az NLP-t, az AI-t és az ML-t-ezek még áramvonalasabb területek, mint a nagy adatok. Sok pályázó számára meglepő, hogy nemcsak modelleket kell képezniük, hanem maguk is elkészíthetik az adatokat.

    OLVASS TOVÁBB:  "A 20. század története inspirált játékteremtésre"

    – Milyen technológiákat kell először tudnia, hogy munkát szerezzen?

    Ez sok körülménytől függ — a vállalatok terjedése és az általuk megoldott feladatok nagyon szélesek. Az aktuális közül választhat:

    • Apache Spark – szinte általánosan használt kötegelt etl adatfeldolgozás. Itt nem az API mint ilyen tanulására akarunk összpontosítani, hanem a keretrendszer általános architektúrájának — a fő alapblokkok-megértésére;
    • Apache Airflow-mint transzformációs áramlásszabályozás;
    • Az SQL egy klasszikus, gyakorlati értéke mellett a gondolkodás paradigmáját is elmozdítja, segít az adatkészletekkel való működésbe lépni, valamint deklaratív megközelítést alkalmaz az átalakulások leírására.

    Mint fentebb említettük, az adatok feldolgozásának képessége fontos, nem csak a végtermék vagy a technológia. Minden szerepnek saját terméke lesz a kereslet. Ahhoz, hogy megtudja, melyik, elegendő 3-4 leírást találni a kívánt szerepről/pozícióról az üres álláshelyeken, azokban a követelményekben, amelyekhez a szükséges technológiai köteg látható. Ha kifejezetten az adatokkal való együttműködésről beszélünk, akkor mindenféle DBMS-t, nem relációs adatbázisokat, SQL — t, Hadoop-ot, OLAP-ot, MPP-t találhat-minden pozícióra külön kell keresnie.

    OLVASS TOVÁBB:  "Könnyű időt találni az iskolára és a családra, ha ismeri a célokat»

    – Milyen szinten szükséges az SQL tudás? A Spark/Hadoop-ról kérdezel az interjúban?

    Cégünk számára az SQL fontos, mivel elsősorban az átalakulások logikájának leírására szolgál. Nem kérünk valamit a határon túlról, de az ideális jelöltnek legalább tudnia kell, és képesnek kell lennie jelentkezni:

    • a joynes típusai, alkalmazási forgatókönyvek;
    • csoportosítás és válogatás;
    • ablakfunkciók-legalább a lag/lead alapvető jellemzői;
    • subqueries (reguláris / Korrelált), CTE.

    A csillaggal ellátott feladat az, hogy megértsük, mi az összes fenti konstrukció a fizikai végrehajtás folyamatában (Opcionális a Spark számára).

    Ha az üresedés a szikra/Hadoop ismeretére és a velük való munka tapasztalatára vonatkozik, akkor természetesen azt is megkérdezzük, de az építészeti fogalmak alapfogalmait és megértését érintjük-mi, miért és miért van itt szükség.

    – Mit figyelsz, ha egy kezdő szakembernek nincs tapasztalata egy új területen, de tényleg, tényleg el akarja kezdeni?

    Ha figyelembe vesszük a junior jelölt, felteszünk magunknak néhány alapvető kérdést:

    1. Mennyi tudást / készségeket kell befektetnie a jelöltbe?
    2. Milyen gyorsan fogadja el őket?
    3. Mi érdekli őt hat hónap vagy egy év alatt, amikor Júniusból nő?

    Ezért ebben a szakaszban az érdekek szélessége, különösen a választott fejlesztési terület körül — plusz. Strukturált gondolkodás / beszéd, a képesség, hogy egyértelműen kifejezze gondolatait, megértse, hol és miért akar fejlődni-ez is előny. Nyilvánvaló, hogy a munka elején nehéz megjósolni, hogy pontosan mi lesz az érdeklődés egy-két év alatt, de mindenesetre egy egyértelmű fejlesztési terv egy másik nagy plusz.

    Széles körben úgy vélik, hogy a GitHub projektjei jelentősen növelik a foglalkoztatás esélyét. Ez csak részben igaz. Viszonylag elmondható, hogy a Java backend számára haszontalan a 101. CRUD klón tavaszi indításra helyezése. Egy tipikus 99% – os kódban szinte lehetetlen felismerni az egyént. Éppen ellenkezőleg, a nézet ragaszkodni fog azokhoz a kis dolgokhoz, amelyek egyrészt felmenthetők egy junior fejlesztő számára, másrészt zavart okoznak: “miért mutasd meg akkor?”.

    OLVASS TOVÁBB:  Adatelemzés Oroszországban és külföldön

    Egy kezdő interjújában két dolog kerül előtérbe — ezek a lágy képességei, valamint az, amit az interjú előtt tett. Frissítettem a programozási nyelv ismereteit, vagy csak olvastam valamit a Wikipédián a nagy adatokról,megnéztem a pozícióra vonatkozó különböző követelményeket stb.

    – Milyen tipikus hibákat követnek el a kezdő szakemberek (interjúk, szakmai gyakorlatok stb.)?

    Az egyik fő hiba, amelyet a kezdők tesznek, a kérdésre adott válasz hiánya: “mit akarsz a munkából / milyen feladatok érdekelnek?”Az esetek 95% – ában a válasz: “nem tudom, soha nem próbáltam.”Meg kell értenie, hogy milyen célokat tűzött ki magának egy rövid, de konkrét munkatapasztalat keretében. A kérdés megválaszolásának képessége lehetővé teszi, hogy sok időt takarítson meg, mielőtt “véletlenül”talál valamit, ami érdekes.

    A második gyakori hiba a jelölt túlzott” szerénysége”, aki rendkívül általános fogalmakkal kezd konkrét kérdésekre válaszolni, attól tartva, hogy eléri a sajátosságokat, és megmutatja, hogy nem érti. Ugyanakkor az Általános válaszokat sokkal negatívan érzékelik, mint a felhasználó egyértelmű válaszát.

    Mi a különlegessége a nagy adatfeldolgozásnak, és mi szükség van szakemberekre? Milyen típusú emberekre van szükség?

    Van néhány árnyalat a kérdés megfogalmazásában. A “funkció” összehasonlítást jelent valamivel. Hasonlítsuk össze a számunkra szokásos dolgokkal — a tárolók és az ETL csővezetékek fejlesztése az RDBMS-en klasszikus ETL eszközökkel (Informatica, Datastage stb.).

    Az igazi “big data” – ban, amely nem illeszkedik egyetlen tárolóba, az új technológiákra való áttérés már nem csak egy hóbort, a hardver/licencek megtakarításának kísérlete, vagy annak a következménye, hogy a klasszikus technológiák szakemberei nappal nem találhatók tűzzel.

    OLVASS TOVÁBB:  Gyors kezdés a játék alkotói számára a GeekBrains segítségével

    Általában a következőket emeljük ki:

    1. Adatfeldolgozás mint norma, a gyors Adatirányítás megjelenése.
    2. Több kódolási és modern fejlesztési gyakorlat az SQL és PL/SQL csővezetékekhez képest.
    3. További eszközök tudni. Korábban elegendő tudás volt az RDBMS-ről (jó / kiváló szinten), az ETL egyik eszközéről, valamint az adattárak/domain építésének elveiről. Most a készlet jelentősen bővült.
    4. További kihívások az építészet, az adminisztráció szempontjából. A választási hely nagyobb, a különböző korlátok/árnyalatok nagyobbak.
    5. Fókuszban a felhő megoldások. Ha azonban valóban nagyvállalatokban nagy adatokról beszélünk, akkor valószínűleg a szervezetek privát felhőt emelnek fel.

    – Melyik adatelemző eszköz a legmenőbb most?

    A kérdés nagyon általános. Meg kell értened, mit értünk a hűvös és milyen területen. Véleményem szerint itt két megértés van, ha adatfeldolgozó eszközöket értünk.

    Az első azok az eszközök, amelyek lehetővé teszik, hogy ezen a területen egyre több megvilágosodott ember dolgozzon az adatokkal, lehetőséget adjon arra, hogy valóban hatalmas adatokkal dolgozzon a tegnapi Excel felhasználók számára. Ez az eszközosztály-Önkiszolgáló elemző eszközök – éppen most jelenik meg.

    Вопросы о карьере дата-специалистов: инженеров, аналитиков и разработчиков — отвечает Mediascope

    Az osztály legfontosabb eszközei adatok szerint predictiveanalyticstoday.com

    Friss cikkek

    Kapcsolódó történetek

    HOZZÁSZÓLOK A CIKKHEZ

    Kérjük, írja be véleményét!
    írja be ide nevét

    Maradjon op - Ge a napi híreket a postaládájában