Stranice svake stranice redovito pretražuju roboti za pretraživanje koji obrađuju informacije na web mjestu tako da budu dostupne na zahtjev korisnika u tražilicama. Posjeti posjetitelja s tražilica pozitivno utječu na promet na web mjestu i potiču razvoj resursa. Ali, ako na web mjestu postoje stranice čiji podaci nisu namijenjeni internetskoj publici (na primjer, osobne stranice korisnika ili stranica za registraciju), tada prijelaz s tražilica na takve stranice nije potreban i on bolje je zabraniti ovim informacijama indeksiranje.
Potrebno
- - imati svoju web stranicu
- - znati veze do stranica čije indeksiranje treba zabraniti.
- - imati barem osnovno znanje HTML-a
Upute
Korak 1
Da biste spriječili robota za pretraživanje da indeksira određene stranice web mjesta, morate unijeti promjene u datoteku robots.txt, ako je već na vašoj web lokaciji, ili stvoriti ovu datoteku.
Korak 2
Ako je datoteka robots.txt već prenesena na web mjesto i tu je datoteku moguće urediti izravno s upravljačke ploče resursa, otvorite datoteku robots.txt putem web usluge za uređivanje.
3. korak
Ako ne možete izravno izmijeniti željenu datoteku s upravljačke ploče, otvorite datoteku robots.txt u pregledniku klikom na vezu do ove datoteke. Kopirajte sve podatke sa stranice koja se otvori i zalijepite ih na list u Notepad.
4. korak
Ako na web mjestu nema datoteke robots.txt, otvorite program "Notepad" u čiji ćete novi dokument trebati unijeti potreban kôd.
Korak 5
Na prazan list tekstualnog dokumenta napišite prvi obavezni redak:
Korisnički agent: *
Korak 6
Zatim prijeđite na sljedeći redak pritiskom na tipku Enter i unesite sljedeći kôd:
Disallow: / index / page3Disallow: označava da nema indeksiranja, a / index / page3 je veza do stranice koja ne mora biti indeksirana. Umjesto veze / indeksa / stranice3, umetnite vezu na stranicu vašeg web mjesta koju želite blokirati za obradu od strane robota.
Korak 7
Imajte na umu da na početku veze nedostaje samo ime domene; njegovo prisustvo u unosu podrazumijeva kosu crtu. Pri indeksiranju web mjesta robot za pretraživanje automatski ubacuje ime domene u takve veze. Stoga na ovaj način napišite poveznice do potrebnih stranica.
Korak 8
Nakon onemogućavanja: možete postaviti ne samo vezu do određene stranice, već i vezu do bilo kojeg odjeljka ili direktorija web mjesta. Slično tome, možete zabraniti indeksiranje željenog dijela web mjesta.
Korak 9
Ako je potrebno zabraniti robotsku obradu nekoliko različitih odjeljaka resursa, na novi link napišite vezu do svakog odjeljka ili stranice na čijem početku ne zaboravite staviti unos Disallow:.
Korak 10
Da biste dovršili promjenu datoteke robots.txt, kliknite gumb "Spremi" tijekom uređivanja datoteke na upravljačkoj ploči ili spremite tekstualni dokument s unosima pod imenom robots.txt i prenesite ovu datoteku na web mjesto.
