Indeksiranje stranica sajta

Indeksiranje stranica sajta, greške i problemi. Šta ruši vaše SEO napore? Kako rešiti probleme sa indeksiranjem vaših veb stranica?

U praksi neke veb stranice mogu biti savršeno optimizovana i da ima odličan korisnički doživljaj, ali im to ništa ne vredi, jer ih Google ne može registrovati za pretraživanje.

U ovom članku pod nazivom „Indeksiranje stranica sajta“ odgovaramo na 4 ključna pitanja:

1. Šta je indeksiranje veb stranica sajta?
2. Koji su najčešći problemi sa indeksiranjem stranica sajta i rešenja?
3. Kako pravilno indeksirati sve važne stranice svog sajta?
4. Može li se ubrzati indeksiranje veb stranica na Guglu?

Šta je indeksiranje stranica sajta?

Google botovi (crawlers) svakodnevno obilaze sajtove u web mreži radi otkrivanja novih veb stranica ili informacija na njima i njihovog popisivanja – indeksiranja u bazi podataka.

Crawlers su mali Guglovi programi koji stalno pregledaju web mrežu kako bi osvežili i dopunili svoju bazu podataka (indeks).

Problemi sa indeksiranjem stranica sajta mogu vaše SEO napore učiniti ništavnim, jer ih Google roboti (botovi) ne mogu videti i popisati.

Kako da uočiti probleme sa indeksiranjem svojih web stranica?

Besplatna Google-ova alatka GSC (Google Search Console) upozorava kada postoje problemi sa indeksiranjem na veb sajtu.

Otvorite je i pogledajte izveštaj Page Indexing (Indeksiranje stranica) > Pages (Stranice) da biste ih videli.

Slika: Indeksiranje veb stranica sajta

Slika: Uvid u indeksiranje stranica sajta

Najčešći problemi koji prate indeksiranje stranica sajta

1. Neispravna URL adresa (nije pronađeno – greška 404) je jedan od najčešćih problema sa indeksiranjem. Stranica može imati 404 status iz više razloga. Recimo, izbrisali ste URL, ali niste uklonili stranicu sa mape sajta, pogrešno ste napisali URL, itd.

Slika: 404 greška – Stranica nije pronađena!

• Proverite da li je URL na koji se greška odnosi ispravno napisan (vidi SEO URL) i ažurirajte mapu sajta.
• Ako ste stranici promenili adresu, izvršite 301 preusmeravanje.
• Ukoliko je sporna stranica izbrisana, poništite sve linkove koji vode ka njoj i uklonite je sa mape sajta.
• Ako želite da stranicu 404 zadržite, dodajte link ka nekoj drugoj stranici kako bi posetilac ostao na sajtu.
• Obezbedite da Google ne indeksira 404 stranu, bez obzira koliko je lepa i prilagođena korisnicima.

Savet:

Izbegavajte da stranicu 404 preusmeravate na početnu stranu, jer to može da rezultira mekim 404. Ta greška se dešava kada neka veb stranica ima odgovor “200 OK”, ali Google ne može da pronađe njen sadržaj. Meka 404 greška ne zavisi uvek od Vas. Ona može nastati i kao posledica greške u pregledaču korisnika.

Blokade pristupa veb stranici

2. Blokirano zbog neovlašćenog zahteva (401)

Do greške 401 dolazi kada Googlebot pokuša da dođe do stranice koja zahteva autorizaciju, a vaš server to blokira. Ako želite da se ta stranica indeksira, dodelite Googlebot-u odgovarajuću dozvolu, ili uklonite zahtev za ovlašćenje.

3. Blokirano zbog zabranjenog pristupa (403)

Ova vrsta greške se dešava kada je korisnički agent dao akreditive za ulazak na stranicu (login, lozinka), ali nije odobren pristup. Pošto googlebot nikada ne daje akreditive, server vraća 403 odgovor umesto željene stranice.

Rešenje:

Ako je stranica blokirana a potrebna Vam je indeksacija, dozvolite pristup neprijavljenim korisnicima ili Googlebot-u da uđe na stranicu da bi je pročitao i indeksirao.

4. URL je blokiran od strane robots.txt-a

Ako je stranica blokirana uz pomoć robots.txt-a, Google je neće popisati. Međutim, robots.txt ne garantuje 100% da stranica neće biti indeksirana, pa GSC ponekad može pokazati grešku, npr. kao ovo:

Slika: Blokirana URL stranica

Odlučite da li vam je ta stranica potrebna ili nije. Ako jeste, uklonite njen URL iz robots.txt-a. Ako Vam ta stranica nije potreba, uradite isto, ali na nju primenite oznaku „noindex“, ili ograničite pristup za neovlašćene korisnike.

Napomena: Kada unesete ograničenja, možete zatražiti od Google-a da tu stranicu ukloni iz indeksa preko GSC-a : Pregled > Uklanjanja > Novi zahtev.

„Noindex“ oznake, preusmeravanja i greške servera

5. Postoji URL sa oznakom „noindex“
Ova greška se javlja kada zatražite od Google-a da indeksira stranicu, ali ta stranica ima oznaku „noindex“.

Rešenje:

Sa pogođene stranice uklonite oznaku „noindex“.

6. Indeksirano bez sadržaja

Moguće je da stranica ima premalo sadržaja, ili ga ima dovoljno, ali je sakriven, ne učitava se pravilno ili je blokiran.

Rešenja:

• Proverite da li iskačući prozori rade ispravno i da li ih Google može čitati.
• Ako je sadržaj stranice prikriven, moguće je da neke skripte ili slike na njoj nisu dostupne.

7. Greška preusmeravanja
Google ne može da pročita preusmeravanja u sledećim slučajevima:

• Lanac preusmeravanja je predugačak, sadrži je loš ili je prazan URL;
• Preusmeravanje dovodi do beskonačne petlje preusmeravanja;
• URL za preusmeravanje premašuje maksimalnu dužinu URL-a (2 MB za Chrome).

Rešenja:

• Ispravno podesite preusmeravanja.
• Izbegnite dugačke lance preusmeravanja.
• Uverite se da nema 404 ili 410 URL-ova u lancu.
• Preusmerite URL-ove na ispravne i relevantne stranice.

8. Greška servera (5xx)
Do ove greške dolazi kada server ima problem, ili je istekao hosting u trenutku pojave googlebota.

Rešenja:

Proverite spornu URL adresu. Ako je u redu, idite na „Inspect URL“ u GSC-u i, ako se greška ponavlja, zatražite novo indeksiranje.

Ako ista greška i dalje postoji, imate sledeće opcije:

• Uverite se da hosting vašeg sajta nije preopterećen ili ugašen.
• Proverite da niste slučajno blokirali prilaz robotima pretraživača.
• Smanjite učitavanje stranica za dinamičke zahteve.

Neuspešno indeksiranje stranica sajta zbog duplikata

9. Duplikat bez kanonskog odabira korisnika

Ovo je problem za višejezične sajtove i one koji imaju mnogo stranica sa identičnim ili veoma sličnim sadržajem.

Rešenje:

Da biste ovo sprečili, označite jednu od tih stranica kao kanonsku.

10. Duplikat, jer je Google izabrao drugčiju kanonsku verziju

Označili ste jednu verziju stranice za kanonsku, ali je Gugl odlučio da indeksira neku drugu verziju.

Rešenje:

Postavite kanonsku oznaku na stranicu koju je odabrao Gugl. Ako ipak želite Vašu verziju, onda stranicu koju je izabrao Google, preusmerite na Vašu.

11. Otkriveno – trenutno nije indeksirano

Rešenje:

Ako je Google već otkrio stranicu ali je još nije indeksirao, pustite ga da završi posao.

12. Popisano – trenutno nije indeksirano

Rešenje:

Sačekajte. Stranica će biti indeksirana ukoliko u obrazloženju ne stoji suprotno.

Kako pravilno indeksirati web stranice sajta?

1. Otvorite Google Search Console
2. Prijavite URL željene stranice:

Slika: Prijava na GSC za indeksiranje

Kako ubrzati indeksiranje stranica sajta na Guglu?

Ako želite da se web stranice Vašeg sajta brže indeksiraju, povežite ih linkovima sa postojećim stranicama koje imaju dobar saobraćaj. Takođe, možete u GSC da zatražite indeksiranje URL-a neke veb stranice i da za dan-dva proverite njen status.

Slika: Zahtev za indeksiranje stranica sajta

Indeksiranje stranica sajta – Zaključak

• Problemi prilikom indeksacije web stranica mogu biti mnogobrojni i izazvani mnogim štetnim činiocima.
• Google Search Console će vam pomoći da identifikujete pogođene stranice i utvrdite šta nije u redu i kako to da rešite.
• GSC prikazuje probleme sa indeksiranjem samo kada Google ne uspe da stranicu popiše. U suprotnom, prijave nema.
• Čest razlog zašto se stranice ne indeksiraju je da nisu linkovima povezane, ili imaju dugačke lance preusmeravanja.
• Kada rešite sve uočene probleme, možete na GSC podneti zahtev za reindeksiranje, za novu mapu sajta i novi robots.txt.
• Indeksiranje stranica sajta je često praćeno greškama koje ugrožavaju ili potpuno ruše vaše SEO napore!
• Zapamtite: Veb stranica može da ima odličan sadržaj i biti dobro optimizovana, a da je ipak Google ne vidi. Zato uvek proveravajte da li postoje neke greške koje blokiraju taj proces. Živeli!

Srodni sadržaji:

• Interni linkovi za bolji SEO
• Šta je tehnički SEO
• SEO faktori rangiranja