More

    Webhely-feltérképezési költségkeret – releváns 2021-ben

    Elemezzük, hogy a keresőmotor miként térképezi fel a webhelyet, és hogyan növelheti a feltérképezési költségkeretet.

    A cikk hasznos a webhelyek keresőmotor általi feldolgozásának általános megértéséhez, de különösen releváns azok számára, akik problémákat látnak a webhely feltérképezésében.

    A cikkben:

    1. Hogyan térképezi fel a keresőmotor a webhelyet
    2. Kinek kell aggódnia a mászó költségvetés miatt
    3. Hogyan tekinthető meg a webhely robotok általi feltérképezése
    4. A feltérképezési költségkeret optimalizálása
    5. A megjelenítési költségkeret optimalizálása

    Hogyan keresi meg a keresőmotor egy webhelyet: mi a feltérképezési és megjelenítési költségkeret?

    Az oldal megjelenik a keresésben, kulcsszavak szerint kerül besorolásra, és forgalmat fog kapni, ha a keresőrobot megtalálja és indexeli.

    A folyamat kissé eltér a statikus HTML-oldalaknál és a dinamikus JavaScript-oldalaknál.

    Statikus oldalak

    Az oldalakat kereső és feldolgozó robotokat robotoknak nevezzük, a feldolgozási folyamat bejár .

    1. A keresőrobot létrehoz egy listát a webhely URL-jéről – megtalálja őket a webhelytérkép, a belső és külső linkek alapján.

    2. Ellenőrizte a robots.txt fájl feltérképezési engedélyeit. Ez a fájl nem tartalmaz szigorú szabályokat, de ajánlásokat, ezért nem fog működni az oldal botokból történő bezárásán keresztül a robots.txt fájl tiltása révén. Ha az oldal linkeket és átirányításokat tartalmaz, akkor a bot eldöntheti, hogy mégis fontos, és felveszi a listájába.

    3. Ezután prioritások szerint rendezi a linkeket, és elkezd szkennelni. A prioritást számos tényező határozza meg: a főtől való távolság, a PageRank és mások.

    A keresőmotorok nem rendelkeznek technikai képességekkel a webhelyeken megjelenő összes oldal feldolgozására, ezért korlátozzák a feltérképezést – a feltérképezési költségkeret az az oldalak száma, amelyeket egy keresőrobot indexelhet a webhely egyetlen korlátozott látogatása során.

    Ha a rendszeresen frissített oldalak száma meghaladja a webhely feltérképezési költségkeretét, akkor nem lesznek rajta indexelt oldalak.

    Dinamikus JS oldalak

    A robotok feltérképezik és indexelik a statikus HTML-oldal tartalmát. Ha az oldal dinamikus, megjelenítéssel és JS-keretrendszerrel rendelkezik, akkor a folyamat általában ugyanaz, de szükség van egy köztes szakaszra is. A beolvasás után a botnak először meg kell jelenítenie a JavaScript-en keresztül kódolt tartalmat, és csak utána kell elküldenie az indexnek. Ezt a szakaszt renderelésnek nevezzük.

    A keresőrobotok a JavaScript kódot dolgozzák fel a Chromium legújabb verziójával. A botok által megjelenített oldalak számát renderelési költségvetésnek nevezzük.

    Kiderült, hogy a megjelenítés az oldalak feldolgozásának további szakasza, amely erőforrásokat igényel. Ha az oldal előállítása hosszú időt vesz igénybe a JavaScript aszinkron és összetettsége miatt, az indexelés hosszabb ideig tart.

    További információkért az oldalak JavaScript-ben történő feldolgozásáról a Google elmondta a Keresőközpontnak. Ha az oldal vagy annak egy része nem jelenik meg a keresési eredmények között, ennek oka lehet a JavaScript-kóddal kapcsolatos probléma. A Google útmutatása segít kijavítani őket.

    A bejárási sebesség nem rangsorolási tényező, és önmagában nem befolyásolja a rangsort. De fontos a webhely működése szempontjából – ha a bot nem képes feltérképezni az új oldalakat, akkor sokáig nem jelennek meg a SERP-ben, és a felhasználók sem fogják látni őket. Kitaláljuk, mit tegyünk, hogy a botoknak legyen ideje beolvasni az összes szükséges oldalt.

    Kinek kell aggódnia a mászó költségvetés miatt

    Kis projektek esetén a bejárást igénylő oldalak száma általában kevesebb, mint a bejáró korlátja. Tehát a kis webhelyek tulajdonosainak nem kell aggódniuk a mászó költségvetés miatt.

    Ha új oldalak hónapokig nem tudnak bekerülni a keresési eredmények közé, érdemes optimalizálni: segítsen a botnak abban, hogy ne pazarolja hiába a mászó költségvetést, és megtalálja a szükséges oldalakat. Ez általában nagy projekteknél jelent problémát.

    Meg kell nézni, hogy a projekt elég nagy-e ahhoz, hogy aggódjon a robotok korlátai miatt. Az optimalizálók különböző számokat adnak meg az oldalmérethez. Egyesek szerint egy legfeljebb 50 ezer oldalas és világos felépítésű webhelynek nem lehet problémája az indexeléssel, mások szerint ez az adat 10 ezer oldal. Könnyebb ellenőrizni.

    Hogyan állapítható meg, hogy problémái vannak-e a feltérképezési költségkerettel:

    1. Keresse meg, hogy elméletileg hány oldal legyen az indexben. Ezek noindex címke nélküli oldalak (relevánsak a Yandex számára), és a robots.txt fájlban nincs tiltás.

    2. Összehasonlítja az indexelt oldalak számát azzal, ami elméletileg szerepelnie kell az indexben. Ezeket az adatokat a Google konzolban és a Yandex.Webmasterben lehet megtekinteni.

    3. Ha elméletileg az indexben szereplő oldalak száma sokszorosa, akkor problémák vannak.

    Hogyan nézhetjük meg, hogyan keresnek robotok egy webhelyet?

    Weboldal dinamika

    Mindkét keresőmotor dinamikája megtekinthető a Site Analysis szolgáltatásban:

    OLVASS TOVÁBB:  A Google megosztja a Google Search Central Launch részleteit

    Webhely-feltérképezési költségkeret - releváns 2021-ben

    Indexelés a webhelyelemzésben

    A Yandex.Webmasterben a “Feltérképezési statisztikák” részben láthatja, hogy a webhely mely oldalakat térképezi fel a robot, és melyeket nem tudta betölteni.

    Webhely-feltérképezési költségkeret - releváns 2021-ben

    Feltérképezési statisztikák a Yandex.Webmasterben

    A Google Search Console Feltérképezési statisztikák lapján láthatja az összképet – a botok által feltérképezett oldalak számát.

    Webhely-feltérképezési költségkeret - releváns 2021-ben

    Oldal feltérképezési kérelmek

    Az indexeléssel kapcsolatos problémák a rangsorolással és így a forgalommal is problémákat okozhatnak. Ha csökken a forgalom, ellenőrizze a lefedettségi jelentést a Google Console-ban. Összehasonlítani kell a rangsor változásának és a jelentés mind a négy fülének dinamikáját.

    Webhely-feltérképezési költségkeret - releváns 2021-ben

    Lefedettségi jelentés

    Különösen érdekesek a lefedettség – hibák és lefedettség – kizárt szakaszok. A „Kizárt” részben lesznek olyan oldalak, amelyeket a Google alacsony minőségűnek tekint: átirányítások, az indexelés elől bezárt és mások.

    Webhely-feltérképezési költségkeret - releváns 2021-ben

    A kizárt oldalak listája

    Egy adott oldal ellenőrzése

    Az URL-ellenőrző eszköz segítségével megtudhatja, hogy az adott oldal melyik szakaszban van. Megjeleníti az oldal aktuális indexelési állapotát, és tudatja Önnel, ha valami zavarja a feldolgozást.

    OLVASS TOVÁBB:  A Roszkomnadzor idegi hálózatokat kezdett használni a tiltott információk azonosítására

    Webhely-feltérképezési költségkeret - releváns 2021-ben

    URL-hitelesítés

    Az eszköz ellenőrzi az oldal utolsó indexelt verzióját. Ha az oldalt az utolsó beolvasás óta módosították vagy törölték, akkor nem fogja megjeleníteni. Kattintson az “Oldal ellenőrzése a helyszínen” gombra, hogy információkat szerezzen az oldal aktuális verziójáról.

    Van még egy dolog: az eszköz nem veszi figyelembe a keresőmotorok szankcióit és az ideiglenes URL-blokkolást. Tehát akkor is, ha az “URL szerepel a Google indexben” üzenetet látja a keresési eredmények között, előfordulhat, hogy az oldal nem szerepel a keresési eredmények között. Nagyon könnyű ellenőrizni, hogy van-e – meg kell keresnie az URL-jét.

    Webhely-feltérképezési költségkeret - releváns 2021-ben

    Az URL szerepel a Google keresési eredményeiben

    Ezzel az ingyenes eszközzel kereső bot szemével nézheti meg az oldalt. Megjeleníti a Header választ, azt a kódot, amelyet a bot lát, valamint felsorolja a belső és külső linkeket, és jelzi, hogy melyik indexelt.

    Webhely-feltérképezési költségkeret - releváns 2021-ben

    Az eszköz eredményeinek töredéke

    Szerver naplók

    A bejárási költségkeretet a kiszolgáló naplóiban ellenőrizheti, ahol nyomon követheti, hogy a bejáró mely oldalakat keresi fel, megtekintheti az útvonalakat és a webhely-feltérképezések ütemezését. Egy kezdő számára nehéz lehet, de kitalálhatja.

    Naplókat kell keresnie a kiszolgáló rendszer mappájában található access.log fájlban vagy a tárhely vezérlőpultján keresztül, de nem minden tárhelytípus engedélyezi ezt.

    Ha a Google bot viselkedését vizsgálja, szüksége van egy GoogleBotra, de nem minden, amit úgy hívnak, hogy valóban vonatkozik a keresőmotorokra – Hogyan lehet megbizonyosodni arról, hogy a Googlebot feltérképezi-e a webhelyet.

    Jobb, ha hosszú ideig, legalább egy hónapig elemzi az adatokat. Ez felfedi az általános elveket: milyen gyakran jelenik meg a bot, megnézi-e a webhelytérképet, mely URL-eket térképezi fel és melyeket figyelmen kívül hagyja, mely hibák fordulnak elő. A figyelmen kívül hagyott szakasz megerősíthető belső és külső linkekkel.

    Érdemes rendszeresen elemezni a naplókat a több mint 100 ezer oldalas webhelyek tulajdonosai számára, mivel ezeket nehéz nyomon követni.

    Kényelmesebb nagy mennyiségű adatban navigálni a programok között. Vannak programok a naplók elemzésére: LogViewer, Screaming Frog Log Analyzer, JetOctopus, Loggly, GoAccess és mások.

    Kapcsolódó anyag: A webkiszolgáló naplófájljának elemzése a SEO problémák azonosítása érdekében

    Hatékony módszerek a webhely feltérképezési költségkeretének optimalizálására

    Csak két módon lehet növelni a beolvasási korlátot:

    • rendeljen további kiszolgálói erőforrásokat a szkenneléshez;

    • növelje a felhasználók számára a tartalom értékét.

    Nézzük meg, hogyan működhet egy webmester a másodikkal.

    Felgyorsítja az oldal betöltését

    A webhely hosszú betöltése időt vesz igénybe a keresőrobot számára. Lehetetlen növelni a szkennelési sebességet a webhely felgyorsítása nélkül.

    A letöltés sebességét a Site Analysis szolgáltatásban ellenőrizheti. Ellenőrzi az online letöltéseket a Core Web Vitals mutatóval, amelyet a Google 2021-ben kezdett el használni. Ha problémák vannak a sebességgel, a szolgáltatás megmutatja nekik, és tanácsolja, mit tegyenek:

    Webhely-feltérképezési költségkeret - releváns 2021-ben

    Részlet az oldal betöltési sebességének ellenőrzéséről

    Ellenőrizze a webhely sebességét

    A betöltés felgyorsításának számos módja van, javasoljuk, hogy nézze meg azokat az anyagválasztékokat, amelyekben a leghatékonyabbakat részletesen elemeztük.

    Konfigurálja a Sitemap.xml fájlt

    Feldolgozza a webhelytérképet: tisztítsa meg a másolatoktól és az átirányításokkal felesleges hivatkozásoktól. A Térkép csak azoknak a minőségi oldalaknak az URL-jeit tartalmazhatja, amelyekre szükség van az indexben. A tisztviselők haszontalanok ott.

    Hogyan szerkesztheti helyesen a Sitemap.xml fájlt

    Feldolgozza a robots.txt fájlt

    Bár ez nem szabályokkal rendelkező fájl, hanem ajánlások a keresőrobotokra, mégis befolyásolhatja a szkennelésre vonatkozó döntést. Annak megakadályozására, hogy a robotok feltérképezési költségkeretüket olyan oldalak feldolgozására fordítsák, amelyek a legutóbbi feltérképezés óta nem változtak, adja hozzá a legutóbb módosított értéket.

    OLVASS TOVÁBB:  A Direct február 10-től adja vissza a rugalmas elhelyezési beállításokat

    Megszabadulni az átirányításoktól

    Az átirányítások hosszú láncainak megtisztítása mind a felhasználók, mind a robotok számára rossz. A felhasználók számára az utolsó oldal betöltési ideje megnő, tovább kell várniuk. A bejárók korlátokat költenek az átirányításokra, és ha az átirányítások láncolata késik, a robot “elveszítheti nyomát”, és nem érheti el az utolsó oldalt.

    Foglalkozzon ismétlődő tartalommal

    Meg kell szabadulnia a másolatoktól, ezek alapvetően haszontalanok mind a felhasználók, mind a botok számára. A keresőmotorok nem szeretik az ismétlődő tartalmakat, a robotok ritkábban mászik az ismétlődő oldalakat.

    Az ilyen oldalak azonosítását technikai audit segíti. Elemezze az egyezéseket, vagy törölje a gyengébb oldalakat ismétléssel, vagy állítson be egy átirányítást, ha a törlés sikertelen.

    Konfigurálja a belső összekapcsolást

    A robot feltérképezési prioritást rendel a linkekhez, beleértve az oldal távolságát a főoldaltól. Minél kevesebb kattintás szükséges ahhoz, hogy a kezdőlapról a kívánt oldalra jusson, annál fontosabb. Ezért helyezze a felhasználók munkája szempontjából fontos oldalakat közelebb a főoldalhoz.

    Az anyag 15 tippje a webhely seo-architektúrájához segítséget nyújt a webhely architektúrájának felépítésében

    A bot követi az oldalakon található linkeket, és így más oldalakat talál, amelyeket be kell térképezni. Egyébként ez nem teszi lehetővé az oldal robotok általi feltérképezésének megtiltását – ha a bot belső linkeken keresztül találja meg, úgy dönthet, hogy fontos, és felveszi a listájába feltérképezés céljából.

    Az oldalra mutató belső linkek nélkül a botok számára nehéz lesz eljutni hozzá, ezért fontos az új oldalakat összekapcsolni a már meglévőkkel.

    A linkek tömegének belső linkekkel történő irányát részletesen a Hatékony linkelés című cikkben tárgyaltuk

    Építsen külső linkeket

    Az oldal prioritásának meghatározása során fontos annak tekintélye is: minél több releváns webhelyről származó minőségi link vezet rá, annál fontosabbnak tűnik. Ezért a fontos oldalakat el kell látni a témához kapcsolódó webhelyek linkjeivel.

    A visszalinket nehéz megtenni vásárlás nélkül, de vannak ingyenes módszerek a beszerzésükre.

    Ebben a cikkben összegyűjtöttük az indexelési problémákat és a gyorsítás módját.

    A megjelenítési költségkeret optimalizálása

    Ha dinamikus oldalakat használ, akkor meg kell bizonyosodnia arról, hogy a keresőrobotok könnyen interakcióba léphetnek velük. Az indexeléshez hozzáadódik a renderelés – az “indexelés második hulláma”, amely megnöveli az oldalak feldolgozási idejét.

    OLVASS TOVÁBB:  A Google megosztja a Google Search Central Launch részleteit

    Vessünk egy pillantást arra, hogy mi valósítható meg ennek a folyamatnak az optimalizálása érdekében.

    Ne jelenítse meg a tartalom nagy részét

    A JS megoldásokra nincs szükség minden tartalomra, ne legyen túl buzgó a megjelenítéssel, hogy ne terhelje túl az oldalakat, és lehetőséget adjon a robotnak arra, hogy a megjelenítés előtt megértse az oldal jelentésének nagy részét az első feltérképezés során.

    Rövidítse le a JS-t

    A kódodban gyakran van szemét: felesleges töredékek, fel nem használt könyvtárak, törések és elválasztók. Csökkentheti a kód méretét, vagyis kicsinyítheti a JavaScript-et. Számos ingyenes online eszköz található a tömörítéshez, linkek és további elméletek találhatók a cikkben.

    Felgyorsítja az oldal betöltését

    Gyorsítania kell a tartalom megjelenítését, hogy az oldal gyorsabban betöltődjön. Számos lehetőség van, például hosszú távú gyorsítótár. Olyan oldalakhoz alkalmas, amelyek tartalma nem változik gyakran.

    A gyorsítótár konfigurálását és a betöltés felgyorsításának egyéb módjait ugyanabban a cikkben tárgyaljuk.

    Dinamikus tartalom megjelenítés alkalmazása

    Nem minden keresőmotor bot képes kezelni a JavaScript-et, és nem mindegyik teszi ezt gyorsan és hatékonyan. Bár a probléma továbbra is fennáll, a Google azt tanácsolja, hogy használja a dinamikus megjelenítést.

    A szervernek fel kell ismernie a keresési robotokat, és ha szükséges, a szerveren már feldolgozott tartalommal kell ellátnia őket – HTML oldal formájában. A felhasználóktól érkező kéréseket a szokásos módon, ügyféloldali JS-ként kezeljük. A dinamikus megjelenítés konfigurálható minden oldalra, vagy csak néhányra.

    Hogyan működik, a Google elmondta az anyagban (oroszul)

    A nagy webhelyek tulajdonosainak aggódniuk kell a robotok korlátozásai miatt, ha az oldalak hosszú ideig nem jelennek meg az indexben. Az indexelési problémák megoldhatók, erre az anyagban leírt módszerek alkalmasak.

    Mondja meg nekünk a kommentekben, hogy milyen módszereket nem említettünk hiába a cikkben? Mi működik a legjobban a tapasztalataid szerint?

    Friss cikkek

    Важное за неделю: Instagram запустил «Живые комнаты» на 4 спикера

    В эфире регулярный дайджест Лайкни с самыми Свежими и Умными материалами. В этом выпуске протестируем новую функцию Instagram – Live Rooms («Живые комнаты») и...

    Аутстаффинг в IT: что это и как устроиться работать на аутстаффинг

    Аутстаффинг становится все более распространенной практикой в IT-сфере, «отжимая» популярность и клиентов у аутсорсинга. По мнению экспертов, в ближайшее время эта тенденция сохранится, и...

    NaZapad 16: как попасть в ТОП в бурже, не имея бюджета и опыта

    На практической конференции по продвижению на западных рынках NaZapad 16 Илья Гринько рассказал о том, как создал свой проект в бурже и попробовал его...

    Kapcsolódó történetek

    HOZZÁSZÓLOK A CIKKHEZ

    Kérjük, írja be véleményét!
    írja be ide nevét

    Maradjon op - Ge a napi híreket a postaládájában