More

    Adattudomány: válasz a Megafonnal való találkozás kérdéseire

    Az adattudományról elvileg, a szakmában való fejlődésről, valamint a mobilszolgáltatóval való szakmai gyakorlatról 2020. december 11. 12 perc2093https: //d2xzmw6cctk25h.cloudfront.net/post/2479/og_image/321c25ed7c382786ae4efdcdace4e9d8.png

    November 18-19-én a Megafonnal közösen kétnapos találkozót tartottunk az adattudós szakmának szentelve. Az első napon arról beszéltek, hogyan lehet bekerülni az iparba, és más kérdéseket is figyelembe vettek a kezdőknek. A második napon komolyabb kérdéseket fontolgattunk a tapasztalt szakemberek számára – a szöveges adatok bővítése, a dinamikus árképzés és egyebek.

    Élőben sok kérdést tett fel előadóinknak, és sajnos nem volt időnk válaszolni sokukra azonnal. Ezért arra kértük szakértőinket, hogy válaszolják meg a cikk leggyakoribb és legérdekesebb kérdéseit. Reméljük, hogy ez segít jobban megérteni az Adattudományt. A kényelem érdekében mindent tematikus blokkokra bontottunk.

    Adattudományi specialitás

    – Az informatika ideálissá teszi életünket?

    Az információs technológia segít az élet kényelmesebbé és biztonságosabbá tételében. Talán nem lesz ideális, mert mindenkinek megvannak a maga ideáljai. A technológia és az automatizálás fejlődésével egyes szakmák eltűnnek, és újak jelennek meg a helyükön, ezért ha valami automatizálható dolgot csinál, akkor gondolkodnia kell a szakma megváltoztatásán.

    – Milyen kreatív feladatokat old meg a Data Science alkalmazással?

    Úgy gondolom, hogy a sok lehetséges megoldással kapcsolatos problémák kreatívnak tekinthetők, ezért a DS területének minden problémája kreatív – végül is meg kell találnia, hogy milyen adatokat és algoritmusokat használjon; talán megnézi az adatokat, és tanulhat belőle valami újat. Szerencsére vagy sajnos nehéz fantázia nélkül a DS-ben.

    – Miben különbözik a Data Science alapvetően a programozástól?

    Az adattudomány szakterület, a programozás pedig készség. Helytelen lesz összehasonlítani, inkább összehasonlíthatja a számítástechnikát és az adattudományt. Akkor azt mondhatjuk, hogy ezek a területek átfedik egymást, de a számítástudománytól eltérően a számítástechnika az információk feldolgozását tanulmányozza számítógépek, hálózatok, programozási nyelvek segítségével. Viszont a Data Science középpontba helyezi az adatok kivonását az adatokból, az adatok mintáinak keresését.

    – A DS melyik iránya ígéretes, szerinted?

    Úgy gondolom, hogy ígéretes a Data Science használata bárhol, ahol adatokat gyűjtünk. Szinte biztosan profitálhat belőlük, általában azt mondhatjuk, hogy a Big Data ígéretes, mivel lehetővé teszi egy esemény előrejelzését, új adatok generálását (versek, képek írása, kibővített valóság létrehozása), javaslatok személyre szabását, betegségek diagnosztizálását, meghatározást bűnözők stb.

    – Hány éves kortól jobb az Adattudományt tanulni?

    Bármely életkorban meg lehet kezdeni az adattudomány tanulmányozását. Az ezen a területen történő sikeres tanulmányozáshoz nincs korhatár.

    – Honnan tudja, hogy készen áll arra, hogy megkezdje utazását az iparban?

    A nulláról való tanuláshoz erős vágyra, szabadidőre és proaktív hozzáállásra van szükség. És minden készség és tudás, amelyet a GeekBrains tanfolyamokon elsajátít, kellő gondossággal.

    – Tanfolyamot tervez a gépi tanulásról a pénzügyekben?

    Igen, a tanfolyam elindítását tervezzük. Ha folyamatosan szeretne értesülni minden új karról, iratkozzon fel hírlevelünkre.

    – Mi a legfrissebb programozási nyelv?

    Nincs ilyen nyelv. Minden nyelv sajátos feladatokat lát el bizonyos területeken. A DS birodalomban megtanulhatjuk például a Python, R, C, C ++ és más programokat.

    – Hogyan alkalmazzák a Data Science-t az orvostudományban?

    Az adattudomány segít például gyógyszerek létrehozásában, képek szegmentálásában és osztályozásában a CT és az MRI számára. A DS a gyógyszerek és oltások klinikai vizsgálata során is segít.

    – Kiderül, hogy hat hónap vagy egy év alatt túl sok adatkutató lesz a piacon? Végül is sokféle tanfolyam létezik, mind fizetős, mind ingyenes.

    Két év alatt megduplázódott az adatkutatók iránti kereslet a HeadHunter szerint. A legnagyobb toborzó ügynökségek előrejelzései szerint pedig az elkövetkező években továbbra is nagyon magas lesz az igény az adattudományi szakemberekre.

    Adattudomány az üzleti életben

    – Milyen mérőszámokkal értékelik a Data Science for business teljesítményét?

    A Data Science területén a projekteket a CRISP-DM módszertan szerint hajtják végre, ahol az első lépés a probléma beállításáért és az üzleti probléma megértéséért felel. A probléma felállításakor nem csak a tennivalókat akarjuk megérteni, hanem azt is, hogy milyen megoldást alkalmaznak ma a cégben ennek a problémának a kiküszöbölésére, hogyan nem felel meg az ügyfélnek és hogyan értheti meg, hogy a Data Science-on alapuló megoldásunkkal sikereket érünk el?

    Ezért a probléma felállításának szakaszában el kell döntenünk, hogy melyik üzleti mutatót fogjuk használni.A mérőszámok vállalatonként eltérőek, sőt ugyanazon a tématerületen belül két versengő vállalat is használhat különböző mutatókat ugyanarra a problémára. … Ezért a mutatók nagymértékben vállalatspecifikusak. Ez növelheti az online áruház átlagos csekkjét, ha kedvezményeket akarunk nyújtani a számunkra érdekes termékekről, és megértjük, melyik ügyfél adjon kedvezményt.

    – Milyen módszereket alkalmaznak az adatok átalakítására (néhány példa)?

    Bizonyos típusú matematikai modellek, például lineáris modellek vagy ideghálózatok, az adatok nagyságától függenek. Ennek megfelelően az átalakítások egyik típusa, amelyet megtehetünk, az adatok méretezése, vagyis az összes adat egyetlen skálára állítása. Gyakran előfordul, hogy az adatokat különböző léptékben mérik. Például van életkorunk, években mérhető, itt a sorrend tízes. Van fizetés – több százezerben és millióban mérhető. Ezek különböző skálák, és egyes modelltípusok meglehetősen függnek ettől a ténytől, ezért méretezést alkalmaznak.

    Egy másik technika az üres helyek kitöltése. Egyes modellek nem képesek egyedül kezelni az adathiányokat. Hiányok adódhatnak annak a ténynek a következményeként, hogy a felhasználó nem akart válaszolni néhány kérdésre, ez szándékos mulasztás, vagy mert egyszerűen nincs adat. Ennek megfelelően képesnek kell lennünk pótolni ezeket a hiányosságokat, ehhez különböző megközelítéseket alkalmaznak.

    – Ha a modellekben nem teljesek az adatok, akkor valahogy ki kell egészíteni őket?

    Attól függ, hogy milyen adatok, mennyire hiányosak és rossz minőségűek. Néha hiányzó adatok kitöltése és hiányosságok kitöltése a probléma megoldásának egyik módja. De ez nem mindig teszi lehetővé a modell minőségének jelentős javulását. Az adatok kiegészíthetők valamilyen külső adatforrással. Néha előfordulhat, hogy egy külső beszállító többet tud az ügyfeléről, mint te. Ezért jó forrás az adatok fejlesztésére.

    OLVASS TOVÁBB:  "Elegem van a bányászatból - informatikához akartam menni"

    – Mely iparágakban fejlődik vagy tervezi a leggyorsabban az adattudomány?

    Nehéz felsorolni az összes területet. Ez attól a régiótól is függ, amelyben tartózkodik. A világ melyik részén vannak trendek. De ha konkrét példákról beszélünk, akkor kiemelhetem az önvezető autókat. Ez egy olyan technológia, amelyen a világ legjobb IT-vállalatai már régóta dolgoznak, és úgy tűnik, hogy a kész termék nincs messze. Számomra úgy tűnik, hogy minden összefügg az egészséges életmóddal, egyéni asszisztensekkel, robotokkal, asszisztensekkel, akik figyelni fogják az életmódodat.

    OLVASS TOVÁBB:  A számítógépes látás a GeekBrains új kara

    – Mik a neurális hálózatok a matematika szempontjából?

    Matematika szempontjából az idegháló olyan funkció, amely nagyszámú paramétertől függ. Az ideghálózat kiképzéséhez meg kell találni azokat a paraméterértékeket, amelyeknél ez a függvény eléri a minimális vagy a maximális értéket. Vagyis valójában nagyon nagy és összetett funkciónk van, amely nagyszámú paramétertől függ, és optimalizálnunk kell, és valóban meg kell találnunk ennek a függvénynek a paramétereit.

    – Mi a különbség a gépi tanulás és a mély tanulás között?

    Azt mondanám, hogy a mély tanulás a gépi tanulás része. A gépi tanulás általában olyan tudomány, amely matematikai modellek segítségével segít hasznos információkból kinyerni az adatokat. Ugyanakkor a matematikai modell valamiféle absztrakció, amely önkényesen bonyolult lehet, mint például a mély ideghálózatok esetében, és nagyon egyszerű lehet, ha egy lineáris modell csak néhány változót használ. Ezért a mély tanulás külön irány a gépi tanulásban, amely manapság nagyon jó minőségben segít megoldani a problémákat, ahol strukturálatlan adatokat használnak: képek, szövegek, hang.

    Munka és karrierfejlesztés

    – Mit csinál a csapat vezetése a DS-nél? Milyen feladatai vannak?

    A csapat vezetője felelős a DS csapatért: a fejlődés minősége és időzítése, a csapattagok fejlesztése, a KPI végrehajtása a csapat részéről. A csapat vezetője ML modelleket is épít és saját kezűleg ír kódot. Sok múlik a vállalaton. Például a Megafonnál a csapat vezetője irányítja az adatmérnököket és az adatkutatókat. Főleg a csapatmenedzsmentben, a feladatok meghatározásában, a minőségellenőrzésben stb. De DS-feladatait is sikerül elvégeznie.

    – Hol szerezhetem meg az első tapasztalatokat a DS-ben?

    Részt vehet versenyeken, például a Kaggle-n. 2021 februárjában bejuthat a Megafonba a gyorsítóhoz.

    – Az állás kiválasztásakor értékel egy gyakorlati ismereteket vagy jegyeket egy oklevélben?

    Általában a valódi tudást vizsgálják, de gyakran összefüggnek a tanulmányi sikerrel. Ha az oktatásról beszélünk, akkor több összefüggés van az egyetem szintjével, mint az évfolyamokkal.

    – 2020-2021-ben érdemes áttérni az adattudományra? Vagy a pandémia miatt jobb később megtenni?

    Talán most van a legjobb alkalom a költözésre, mivel minden tevékenység online módon mozgott. Most egy online moziban néz filmet – és ott kiválasztott egy filmet az Ön számára egy ajánlási rendszer segítségével. Az online áruházban vásárol – és ott személyre szabott ajánlatokat is talál. Most nagy valószínűséggel taxival fog járni – és ott gépi tanulási algoritmusok is várnak rád!

    – Mikor kell megérteni, hogy van elegendő tanfolyam és idő az interjúkra?

    Miután megoldhat egy versenyből egy problémát Stackoverflow nélkül és habozás nélkül, tudja, hogyan működnek a gépi tanulási algoritmusok. És ha szükséges, megvalósíthat párat.

    – Hol lehet gyakorlatot szerezni a valós adatokról?

    Vegyen részt adattudományi versenyeken!

    – Mi kell ahhoz, hogy ne égjen ki edzés közben?

    Ne terhelje túl magát tanfolyamokkal, tanuljon egymás után, ne egyszerre és egyszerre, hanem rendszeresen.

    – Melyik gondolkodásmód megfelelő az adattudomány számára? Milyen képességekkel kell rendelkeznie a matematika és a nyelvtudás mellett?

    Számomra úgy tűnik, hogy a legfontosabb az, hogy lássam, mi történik a számok mögött. Vagyis nemcsak a gépi tanulási modellek felépítése, hanem annak megértése, hogyan kell működniük, hol kell megvalósítani és hogyan kell őket fejleszteni.

    – Hogyan lehet elkezdeni a tanulást azok számára, akik a klasszikus statisztikai iskolában jó képzettséggel rendelkeznek és ismerik a programozás alapjait? Összekötni a másikkal és kihagyni a már ismert lépéseket?

    Érdemes a gépi tanulási algoritmusokkal kezdeni és a Python nyelvét megtanulni. Mind az elméleti tanulmányok előadásai, mind az online gépi tanfolyamok online megtalálhatók, ha tetszik az elérhető gyakorlati előadás.

    – Tökéletesen kell ismernie a matematikát, tekintettel arra, hogy sok modellt már írtak (például a sklearn könyvtárat)?

    Számomra úgy tűnik, hogy minden attól függ, mit akarsz pontosan csinálni. Természetesen annak megértése, hogyan épül fel az Ön által használt modell, mi a felelős a modell különböző paramétereiért, mi fog történni, ha megváltoztatja őket – mindez nagymértékben leegyszerűsíti a feladatot és növeli a hatékonyságot.

    Amikor valós adatokkal dolgozunk, valós projektekkel sok problémával kell szembenéznünk. Különösen gyakran találkozunk a túlillesztés problémájával – ezek olyan helyzetek, amikor a modellek jól működnek egy oktatási készleten, de nem működnek jól az új adatokkal. Ennek megfelelően meg kell értened, miként lehet legyőzni ezt a problémát. Az egyik mód a modell testreszabása. Korlátozza a modell összetettségét, használja a szabályozást. És meg kell értened, hogy milyen modellekben és hogyan működik a szabályozás, hogyan működik, mihez vezet. Ez sokkal könnyebbé teszi az életet, javítja a projektek minőségét és növeli szakemberi értékét. Ezért úgy gondolom, hogy ismernie kell a modellek működését és tapasztalattal kell rendelkeznie a használatukról.

    OLVASS TOVÁBB:  Megnyitjuk a Játékelemzési Karot

    – Milyen nyelvet kell tudnia ahhoz, hogy az adattudományban dolgozzon?

    A Python és az SQL tekinthető szabványnak. Az SQL valójában nem programozási nyelv, hanem az adatbázisokkal való munka nyelve. Ennek ellenére azt is megjegyezném. R is népszerű valahol, a Scala pedig egyre népszerűbb. Java szükséges valahol, de ezek már opciók.

    – Mennyire fontosak a lágy készségek és az érzelmi intelligencia az adatszakmában?

    Számomra úgy tűnik, hogy az emberek gyakran alábecsülik a puha készségek fontosságát. Nyilvánvaló, hogy a karrier előrehaladtával a lágy készségek egyre fontosabbá válnak, súlyuk az adatkutató növekedésével együtt növekszik. És ez különösen fontos egy adatelemző számára, mivel ő áll közelebb az üzlethez. Valójában összekapcsolja az üzletet és a technikusokat, ezért képesnek kell lennie összekapcsolni őket. Kommunikálunk üzletemberekkel az üzlet nyelvén, technikusokkal, gyakran műszaki nyelven. Az elemzőnek képesnek kell lennie mindkét fél megértésére és lefordítására az egyik nyelvről a másikra, és ezt hatékonyan kell elvégeznie.

    – Adja meg a kompetenciák minimális listáját annak érdekében, hogy junior legyen a DS-ben.

    Szeretném, ha egy fiatalabb tudós tudna többé-kevésbé működőképes és stabil kódot írni. Ez már plusz. Nagyszerű lesz az is, ha tudja, hogy mik a feladatok és hogyan vannak meghatározva, hogyan oldhatók meg, és hogyan lehet értékelni a probléma megoldásának minőségét. Valamilyen alkalmazott Data Science tapasztalattal rendelkezik – például saját projektet készített, vagy gépi tanulási versenyen vett részt.

    Ha összeadja a matematikai statisztikák mindezen ismereteit, az A / B teszt kiszámítását, a kritérium alkalmazását, mely esetekben a független vagy függő minták kritériuma megfelel nekünk, az klassz lesz.

    – Melyik szakaszban kezdheti meg a szakmai gyakorlat keresését? Hol találom? Hol keressünk feladatokat a tapasztalatszerzés érdekében?

    Véleményem szerint van értelme minél korábban keresni gyakornoki munkát, amint valamilyen komplex projektet meg tud valósítani. Még akkor is, ha nem sikerül munkát találnia vagy szakmai gyakorlatot találnia, interjúkkal kapcsolatos tapasztalatokat szerez, megértik, hogy milyen területeken kell pumpálnia, ez szintén hasznos tapasztalat.

    OLVASS TOVÁBB:  A Fullstack JavaScript fejlesztési kar megnyitása

    Hol lehet szakmai gyakorlatot keresni? Ahol a nagyvállalatok közzéteszik ajánlataikat. Ezek lehetnek konferenciák, álláshirdetési oldalak, vállalati oldalak, a Data Science-nek szentelt távirati csatornák, néha a gyakornoki állások a Slack ods.ai oldalon találhatók. Használjon bármilyen elérhető csatornát, amelyen keresztül kommunikálhat nagyvállalatokkal, vagy olyan társaságokkal, ahol gyakorlatot szeretne szerezni. Néha írhat olyan embereknek, akik valahol beszélnek és előadásokat tartanak – talán segítenek neked. De ez inkább. egy kivétel.

    – Ki a jövő – Python fejlesztő vagy Data Science?

    Véleményem szerint mindkettő releváns és keresett. Itt nem az a kérdés, hogy kié a jövő, hanem az, hogy mi érdekli, mit akar csinálni. Ha az irányt választja annak alapján, hogy mennyire lesz releváns a jövőben, akkor a siker nehéz. Úgy tűnik számomra, hogy azt kell tennie, ami tetszik, amiben hisz, és amire készen áll.

    – Pár év múlva lesz-e túlteljes DS-szakember? Melyek az előrejelzések a következő három-öt évre és azon túlra?

    Számomra úgy tűnik, hogy nem. Ez a terület gyorsan fejlődik, sok új irány jelenik meg. Van, aki teljesen új, van, aki nagyobb irányból ágazik le, és külön ággá válik, így sok munka lesz, és sok alkalmazottra van szükség. Új szakirányok jelennek meg, például a gépi tanulási mérnök ma meglehetősen népszerű irány.

    Miután kifejlesztett egy prototípus modellt, az csak az Ön számára működik. A gépi tanulás mérnöke mindenki számára működik. Ez lehetővé teszi prototípusaink gyártásba történő bevezetését. Több évvel ezelőtt nagyon specifikus szerep volt, de ma nagy kereslet van rá a nagyvállalatokban. Egyrészt a piac így fog fejlődni, új specialitások jelennek meg az adattudományban, másrészt nem tény, hogy mindenki adatkutató lesz. Lehetséges, hogy valamilyen más szerepet fog betölteni, de az adatkutatók mellett dolgozik.

    Szakmai gyakorlat és munka a Megafonban

    – Lehetséges-e bekerülni a Megafonba a GeekBrains tanfolyamok elvégzése után?

    Lehetséges, ha az összes megszerzett tudást jól elsajátította.

    – Konkrétan van-e korhatára a csapatok gyakornokai számára?

    Nem.

    – Össze lehet-e kombinálni a Megafonban töltött gyakorlatot a munkával?

    Ha van lehetőség részmunkaidős állásba menni a fő munkahelyen, és nincs összeférhetetlenség – igen, megteheti.

    – A szakmai gyakorlatokat csak Moszkvában tartják? Vagy online is van?

    Három városban – Moszkvában, Jekatyerinburgban és Nyizsnyij Novgorodban – tartanak szakmai gyakorlatot. Ennek ellenére minden online állapotba kerül, ezért a jövőben földrajzunk bővítését tervezzük.

    – Milyen felvételi tesztek vannak a szakmai gyakorlatra való feljutáshoz?

    A felvétel 3 szakaszból áll: elméleti tesztelés, gyakorlati feladat és interjú a szakmai vezetővel.

    – A szakmai gyakorlatok fizetettek?

    Igen.

    – Mi az a minimális ismeret, amely a gyakorlat megszerzéséhez szükséges?

    Ismernie kell a Pythont, lehetőleg a Bash-ot, a Git-et és az SQL-t. Ezenkívül meg kell értenie a gépi tanulás algoritmusait, mutatóit és jó matematikai háttérrel kell rendelkeznie – ismernie kell a valószínűség elméletét, a statisztikákat, a mat. elemzés és lineáris algebra.

    – Van statisztikája a gyakornokok sikeres foglalkoztatásáról?

    A gyakornok gyorsítóprogram egyik fő célja, hogy klassz szakembereket készítsen fel tanszékünkre. Természetesen minden a konkrét helyzettől függ, de általában a legerősebb srácok körülbelül egyharmadát alkalmazzuk.

    – Meddig tart az edzés?

    A gyakorlat három hónapig tart.

    – Melyek a leggyakoribb kihívások, amelyekkel a gyakornokok szembesülnek?

    Eleinte nehézségek merülnek fel az eszközök állatkertjében, mert A gépi tanulás nagyvállalatokban nem csak a Pythonról szól. A motivációval általában nincsenek problémák, mivel minden új valószínűbb, hogy felkelti és inspirálja a gyerekeket.

    Friss cikkek

    A kattintás átlagos költsége a Yandexnél 2020-ban harmadával csökkent

    A Google csak 4% -kal rendelkezik. Az Aori platform szakemberei összefoglalták a kontextuális reklámozás eredményeit az elmúlt évben Oroszországban. Kutatásuk során a szakértők...

    B2B tartalommarketing: Hogyan csinálják a vállalatok a vállalati blogot [kutatás]

    A blogkutatás adaptált fordítása 502 B2B vállalat mintáján. Szeretjük a Backlinko SEO Research-t a nagy mintái miatt. A blog kutatásához lefordítottuk a Google...

    Hogyan tarthatjuk meg a copywritert a keresletben

    Az összes digitális irány között a copywriting nagyon alacsony belépési küszöbértékű terület volt és marad. Szinte minden olyan ember, aki képes többé-kevésbé folyékonyan írni,...

    Hogyan hozhatjuk ki a legtöbbet a YouTube-forgalomból

    A SEOnews továbbra is érdekes konferencia-előadások után kutat, és teljesítményértékeléssel ismerteti Önt. Ma a NaZapad 15 konferencia felvétele került a középpontba, amelyet a SeoProfy...

    Python fejlesztő: mi a teendő, ha megtanultad az alapokat

    Választás a Keras és a PyTorch között, és a megoldás magyarázata 2023. január 18., 12 perc A legtöbb kezdő fejlesztő ismeri a Python...

    Kapcsolódó történetek

    HOZZÁSZÓLOK A CIKKHEZ

    Kérjük, írja be véleményét!
    írja be ide nevét

    Maradjon op - Ge a napi híreket a postaládájában