More

    Mi köze a növekedés a bot forgalom a helyszínen

    A kereskedési platform partnerhálózatának keresőoptimalizálási és fejlesztési osztályának vezetője “Price.ru “Denis Loganov a Citylink Platform fejlesztési részlegének vezetőjeKonstantin Osipov beszélni fog a hozzárendelése robot forgalom, annak következményei, módszerei harc.

    Az elmúlt években a botforgalom aránya drámaian megnőtt. A Barracuda technology szerint 2021 első hat hónapjában az automatizált munkamenetek az internetes forgalom közel kétharmadát teszik ki. Ennek a kötetnek körülbelül 25%-át jól ismert jó botok-keresőrobotok, közösségi hálózati botok, monitoring stb. A forgalom közel 40% – A azonban rossz botokból áll, amelyek veszélyt jelentenek a webhelyekre.

    Rossz botokat hoznak létre különböző rosszindulatú műveletek végrehajtására. Megtámadják a felhasználói fiókokat (személyes és pénzügyi adatokat gyűjtenek), befolyásolják az organikus forgalmat, torzítják az elemzéseket, ellopják a tartalmat, befolyásolják az ajánlórendszereket, marketingköltségeket költenek SMS küldésére és letiltják a szervereket. A cikkben úgy döntöttünk, hogy megosztjuk tapasztalatainkat a probléma megoldásában.

    A botok osztályozása

    • Egyszerű – ugyanabból az IP-címből és szolgáltatóból származnak. Az átmeneteket automatikus szkriptek segítségével hajtják végre, anélkül, hogy különféle adatokat adnának az ujjlenyomat nevű személy szimulálásához, – felhasználó-ügynök, képernyőméret, eszköz típusa stb.
    • Közepes – bonyolultabb botok. Ez a típus olyan szoftvert használ, amely utánozza a böngésző technológiáját, beleértve a JavaScript futtatásának képességét.
    • Kemény – hogy az egér mozgását, kattintások, hogy megtévessze még kifinomult bot detektálási módszerek. Az ilyen botok utánozzák az emberi viselkedést, automatizálási szoftvert használnak, és tipikus CMS sebezhetőségek alapján feltörhetik a webhelyeket. A céloktól függően megjegyzéseket írhatnak, spamet küldhetnek,hirdetéseket hozhatnak létre.
    • Hardcore közepes és kemény botok kombinációja. Rendszerint ciklikusan megváltoztatják az IP-címeket, névtelen privát proxykat, decentralizált hálózatokat használnak, és tárolják egyedi ujjlenyomatukat. A botok a “fehér” webhelylátogatások segítségével fejlesztik ki, hasonlóan egy hétköznapi emberhez. Miután megkapta a kiváló minőségű ujjlenyomat-előzményeket, szinte lehetetlen nyomon követni a botot a megfelelő beállítással. 

    Az ilyen átmenetek 100% – át nem lehet törölni.

    A természetellenes forgalom típusai

    Elemezzük a bot átmenetek típusát pontok szerint.

    1. Bot forgalom etetési profilok

    A viselkedési tényezők (PF) megcsalásához a bot átmeneteket egy adott algoritmus szerint használják. Annak érdekében, hogy a botok természetes forgalomnak tűnjenek, profilszivattyúzást használnak.

    Az Ön webhelye bejuthat egy adott téma etetési profiljainak fájljába. Ennek eredményeként észreveheti a közvetlen látogatások (típus) vagy a közösségi hálózatokból származó áttételi forgalom növekedését. Ez a 2 módszer a legnépszerűbb a profil szivattyúzására való első átmenet végrehajtásához.

    Úgy néz ki, mint ez:

    Что делать с ростом ботных переходов на сайт

    Что делать с ростом ботных переходов на сайт

    Bármely platform hivatkozási forrás lehet, nem feltétlenül a közösségi hálózatok.

    Ha abnormális növekedést észlel (legalább 50% – ról) a bot forgalomból, amelynek nagy része meghibásodik az erőforráshoz, javasoljuk, hogy tegyen lépéseket. Például egyértelmű negatív tendenciát észleltünk számos projekt pozícióiban és forgalmában, miután észleltük a robotátmenetek többszörös növekedését, bár a Yandex ennek ellenkezőjét mondta nekünk levelezésben. Egy új mutató megjelenése a Yandexben “viselkedési tényezők által szűrve” semmilyen módon nem befolyásolta a jelenlegi helyzetet.

    Mit lehet tenni

    1. A forgalom egy részét a CloudFlare szolgáltatás konfigurálásával és összekapcsolásával lehet elvágni.

    A CloudFlare program 4 tarifával rendelkezik:

    • Ingyenes,
    • Pro ($20 / hó),
    • Üzleti ($200 / hó),
    • Vállalkozás (kérésre).

    Van egy Bots szakasz a Pro and Business tarifákról.

    Что делать с ростом ботных переходов на сайт

    A blokk forgalmi statisztikákat mutat a projekt botjainak meghatározásával összefüggésben.

    A bot jelentés 4 típusú forgalmat tartalmaz:

    • Automatikus forgalom (Automatizált)- rossz botok. Heurisztikát, gépi tanulást és más módszereket alkalmaz az ilyen lekérdezések meghatározására. A legtöbb esetben az ilyen forgalom károsítja a webhelyet.
    • Valószínűleg automatikus forgalom (Valószínűleg Automatizált).
    • Ember (Valószínűleg Emberi).
    • Ellenőrzött bot forgalom – származik keresőrobotok, fizetési rendszerek az Interneten (Google, Yandex, PayPal, stb).

    Mindezek az adatok GraphQL-en keresztül is elérhetők, az API-n keresztül pedig feltölthetők.

    A Pro tarifán a program csak az automatizált forgalomtól (automatizált) véd.

    Az üzleti tarifán hozzáférést kap a Bot Analytics új verziójához, amelynek célja a botok elleni védelem. A Program üzleti verziója mélyebben rendezi a botforgalmat, több beállítással rendelkezik.

    OLVASS TOVÁBB:  Optimalizálás 2020: Hogyan kezelhető a márka hírneve a keresésben (SERM)

    Az automatizált szakaszba lépve megtekintheti az átmenetekről szóló részletes jelentést. Elemezheti a forgalmat típus szerint, beállíthatja az időkereteket, szűrheti a különböző attribútumokat, például IP-címet, kategóriát, felhasználói ügynököt stb.

    Анализ ботов4

    Что делать с ростом ботных переходов на сайт

    A legfontosabb különbség a Pro és az üzleti verziók között van az “automatikus forgalom” és a “valószínűleg automatikus forgalom” szűrésében.

    Ez utóbbi lehetőség magában foglalja a CloudFlare gépi tanulási motor által elismert lekérdezéseket. Ezek a kérések gyakran kifinomult botokból származnak – azok, amelyek megkerülik az egyszerű biztonsági eszközöket az IP-címek megváltoztatásával, a felhasználói ügynökkel, bejelentkeznek névtelen proxykon keresztül, meggyőzően utánozzák az embereket.

    Az ingyenes verzió nem véd a botok ellen (kivéve az alap DDoS támadásokat, amelyek sávszélessége legfeljebb 90 Tbps), jelentés és szűrési beállítások-konfigurálja a Super Bot Fight módot. 

    OLVASS TOVÁBB:  A tenisziskola keresőmotorjának optimalizálása - SEO-eset FireSEO

    Általában, ha tanulmányozta a webhely naplóit, és talált egy mintát, amellyel blokkolhatja a bot forgalmának nagy részét, akkor ezt a szerver oldalán vagy a CloudFlare ingyenes verziójában teheti meg.

    2. Gyakran ez a szolgáltatás nem oldja meg teljesen a problémát.

    A viselkedési tényezőkkel foglalkozó szakértők megtanulták a profilok Kompetens szivattyúzását (etetéssel). Változnak: felhasználói ügynök, IP hálózatok, eszközök, munkamenet hossza, engedélyek stb. Ennek eredményeként egyetlen biztonsági rendszer sem felel meg az összes forgalomnak a bot átmenetekkel. 

    Ebben az esetben javasoljuk, hogy ne töltse be a Yandex-et.Metrica számláló a cookie-k nélküli be-és áttételi forgalomhoz. Általában azt kérik, hogy válasszon egy várost vagy más hasonló funkciót.

    Ez a 2 megközelítés együttesen pozitív dinamikát adott, és helyreállította a projektek láthatóságát a keresőmotorokban.

    2. Összekapcsolás a keresőmotorokon keresztül

    A viselkedési tényezőkkel végzett munka során a versenytársak a ragasztás technológiáját is használhatják. A Yandexben.Metrica számláló, előfordulhat, hogy a kulcsszó kattintások többszörös növekedése magas visszafordulási sebességgel történik.

    Что делать с ростом ботных переходов на сайт

    Ez a fajta forgalom nyilvánvaló károkat okoz a webhelyen a keresőmotorok rangsorolására gyakorolt hatása szempontjából. Ha problémát észlel (nagy mennyiségű teljes forgalom esetén), javasoljuk, hogy csatlakoztassa a CloudFlare szolgáltatást (a fent leírt módszer), és egyidejűleg igazítsa a CTR-t, a munkameneteket és a mélységet a saját PF csalásával.

    3. Az ajánlási rendszerekre gyakorolt hatás és a marketingköltségek csökkentése

    Az ilyen típusú támadások nagy számú kérést egyesítenek a webhelyre, közel a hagyományos DDoS védelem kiváltásához. Az ilyen támadások nemcsak a webhely teljesítményének problémáihoz vezethetnek, hanem pénzügyi vagy reputációs veszteségeket is okozhatnak. Vessünk egy közelebbi pillantást az ilyen támadások legnépszerűbb példáira, valamint a velük való bánásmód módjaira.

    Támadás az SMS megerősítő űrlapon.

    Számos erőforrásnak van egy regisztrációs vagy engedélyezési űrlapja telefonszámon, SMS-visszaigazolással, amikor a felhasználó belép egy telefonszámra, és titkos kóddal SMS-üzenetet kap. Például:

    Регистрация по номеру телефона7

    Sok nagyvállalatnak meglehetősen nagy költségvetése van az SMS-üzenetek küldésére. Ugyanakkor a szervezetek még azt sem gyanítják, hogy webhelyeiket a felhasználók a legjobb esetben barátaik csínyére használják, legrosszabb esetben pedig hírnév – és pénzügyi veszteségeket okozva. Ez úgy történik, hogy végtelenül kódokat küld az összes meglévő telefonszámra.

    A GitHubon számos kész program található az sms spam küldésére. Íme néhány a népszerű programok, valamint az adatbázisok használt oldalak támadások (Ön megkeresheti webhelyét a listában):

    • SMS-bombázó (bázis);
    • Denishnc / b0mb3r (bázis);
    • LimerBoy / Impulse (alap);
    • TheSpeedX / tbomb (bázis);
    • Nikait / ni_bomber (alap).

    Az ajánlási rendszerekre gyakorolt hatás.

    A támadók célja, hogy bizonyos termékeket vagy márkákat megjelenítsenek a webhely ajánlásaiban. Ehhez botok segítségével mesterségesen elcsavarják a termék nézeteit vagy az áruk kosárba helyezésére irányuló műveleteket.

    Ennek eredményeként a felhasználók az ajánlásokban nem népszerű termékeket vagy szolgáltatásokat látnak, hanem azokat, amelyeket a bot elrontott. Emiatt az ajánlási rendszer munkája romolhat, ami veszteségeket okoz a vállalat számára.

    4. Elemzési árak, egyenlegek vagy egyéb hasznos információk

    A webkaparás a domain elemzés botok segítségével, amelyek ellopják a tartalmat. Általában kéréseket kapnak a cél URL-hez az adatok kinyerése érdekében.

    Itt meg kell értened, hogy ez egy egész iparág, és egyszerűen lehetetlen teljesen megvédeni magát az elemzéstől és a tartalomlopástól. De ez nem jelenti azt, hogy haszontalan megvédeni magát. 

    OLVASS TOVÁBB:  Linképítés: a külső webhelyekről származó linkek megszerzésének fő módszerei

    Például, ha van egy online áruház 100.000 SKUs nincs semmilyen védelem ellen elemzés, akkor idő kérdése, hogy a webhely kezdődik tapasztal akadálymentesítési problémák, mint ezer kérések másodpercenként hirtelen érkezik meg, ami hozzáférési problémák valódi vásárlók.

    Что делать с ростом ботных переходов на сайт

    Példa egy helyi tüske bot tevékenység, ahol > 40 kérések másodpercenként botok jött>

    Itt a parsers és a webhelytulajdonosok feladatai teljesen ellentétesek.

    • A parsers feladata, hogy az összes információt minimális költségekkel, a lehető legrövidebb idő alatt összegyűjtse.
    • Az erőforrás-tulajdonosok feladata, hogy az elemzés a lehető legdrágább, hosszú és időigényes legyen.

    A nagy piaci szereplők nem annyira ijesztőek, mivel megpróbálnak észrevétlenek lenni, és nem okoznak problémákat a webhelyek működéséhez, de a közepes és kicsi a lehető legveszélyesebb, mivel kísérleteik elvégzésével azonnal le tudják állítani webhelyét.

    Az ilyen típusú támadások kezelésének módjai

    A DDoS-védelem hagyományos módszerei itt hatástalanok lesznek, mivel a botoktól érkező kérelmek száma nem lesz sok az Általános statisztikákból, de ezek a kérések valószínűleg a legnehezebbek a backend feldolgozásához vagy drágák, mint az SMS bombázó támadások esetében.

    Az ilyen típusú támadások elleni küzdelemben a Java Script segítségével aktív ellenőrzés segít, amely az első látogatáskor észrevehetetlenül ellenőrzi a felhasználó számára, hogy a böngésző valódi-e, csak akkor, ha sikeres lesz a webhely.

    A fizetett CloudFlare tarifákon elérhető a WAF, amely lehetővé teszi, hogy rugalmasan korlátozza a webhelyhez való hozzáférést bizonyos országok felhasználói számára. Például, ha webhelye a FÁK közönségére irányul, akkor megadhat egy Captcha követelményt más országok felhasználói számára. Így fog kinézni:

    OLVASS TOVÁBB:  Jövedelem affiliate programok Nyugaton: milyen affiliate programok vannak, hogyan kell dolgozni velük

    Капча9

    Vagy úgy:

    Что делать с ростом ботных переходов на сайт

    Az ilyen korlátozások a webhely elemzését a lehető legdrágábbá és bonyolultabbá teszik,de még mindig nem lehetetlen.

    5. DOS és DDoS támadások

    A DDoS célzott támadás a webhelyre irányuló kérelmek hirtelen növekedése miatt a szerver megzavarása érdekében.

    Что делать с ростом ботных переходов на сайт

    A CloudFlare szolgáltatás az ingyenes verzió korlátlan megelőzésére DDoS támadások sávszélessége akár 90 Tbit/s. a Pro és az üzleti verziók, riasztások és WAF védelem adunk.

    Hasonló védelmi szolgáltatást nyújt a Qrator is, de már fizetett alapon, ahol a tarifától függően a következő lehetőségek állnak rendelkezésre:

    • a DDoS támadások megelőzése legfeljebb 3000 Gbit/s sávszélességgel;
    • reakciósebesség – 30 másodperctől 3 percig;
    • A DDoS támadás semlegesítésének folyamatában a hamis pozitívumok <5% - a, normál időben pedig 0% - a;
    • SLA-akár 99,95% (a tarifától függően).

    Что делать с ростом ботных переходов на сайт

    Példa a “Mēris”botnet legnagyobb DDoS támadásának visszaszorítására

    A közelmúltban a Qrator bevezette saját védelmi rendszerét a botok ellen. Ismeretlen okokból nem igazán reklámozzák – még az összes meglévő ügyfél sem ismeri az új szolgáltatást.

    Meg tudtuk nézni a rendszer bemutatását a béta tesztelési szakaszban. Véleményünk szerint a CloudFlare-hez képest rugalmasabb és összetettebb szabályokat határoz meg a forgalom blokkolására vagy engedélyezésére. A tapasztalt felhasználók számára ez az ellenőrző rendszer ismerősebb lesz a tipikus tűzfalakhoz való hasonlósága miatt, amely kényelmes a nagyszámú szabály kezelésének, valamint a forgalom százalékos arányának tesztelési szabályainak köszönhetően. Azonban az emberek messze tőle, a felület tűnhet bonyolultabb, mint a CloudFlare.

    Vannak más cégek is, amelyek kifejezetten a botok elleni védelemre szakosodtak, például Variti. Kétségtelenül saját chipjeik vannak, amelyek jobban segítenek kiszűrni a botokat, de sajnos a szolgáltatásnak időnként hamis pozitív eredményei vannak, amikor a valódi ügyfelek nem férhetnek hozzá a webhelyhez.

    6. Egyéb botátmenetek

    A botok különböző szolgáltatásokat is tartalmazhatnak a webhelyek zsúfolásában, elemzésében és ellenőrzésében.

    Példa az ilyen típusú botokra:

    • ltx71 – (http://ltx71.com/).
    • ias-va/3.1 ( https://www.admantx.com/service-fetcher.html).
    • WinHttp-Autoproxy-Szolgáltatás / 5.1.
    • Expanse, Palo Alto Networks cég, keres az egész globális IPv4 helyet naponta többször azonosítani az ügyfelek & #39; jelenlétek az Interneten. Ha ki szeretné zárni a szkennelésből, kérjük, küldjön IP-címeket / domaineket a következő címre: scaninfo@paloaltonetworks.com.
    • SeopultContentAnalyzer / 1.0.
    • A UserAgent nincs kitöltve.
    • Mozilla / 5.0 (kompatibilis; SemrushBot/7~bl; http://www.semrush.com/bot.html).
    • Mozilla/5.0 (kompatibilis; Adsbot/3.1; https://seostar.co/robot/).

    Friss cikkek

    Kapcsolódó történetek

    HOZZÁSZÓLOK A CIKKHEZ

    Kérjük, írja be véleményét!
    írja be ide nevét

    Maradjon op - Ge a napi híreket a postaládájában