SEO (search engine optimization) este o adevarata provocare! Notiuni precum robots.txt, pagini “no index / no follow” sau “rel=canonical” ridica probleme in randul proprietarilor / webmasterilor de site-uri. Prin acest articol, incercam sa explicam fiecare notiune astfel incat sa eliminam complet confuziile.

ROBOTS.TXT

Prin intermediul fisierului robots.txt  motoarele de cautare primesc semnale cu privire la ce pot accesa si ce nu in cadrul unui website. Fisierul robots.txt se incarca in radacina site-ului. Este un fisier text, simplu, care utilizeaza un parametru de selectie a paginilor care sa fie analizate sau nu de catre robotii motoarelor de cautare (User-agent & Disallow).

Modalitati de configurare a fisierului Robots.txt la nivelul unui site:

  • Permisiuni de analiza completa a unui site si indicarea locatiei sitemap-ului:

User-agent: *

Disallow:

Sitemap:http:www.mysite.ro/sitemap.xml

  • Pentru a exclude accesul robotilor la anumite directoare sau pagini ale website-ului:

User-agent: *

Disallow: /cgi-bin/

Disallow: /admin/

Disallow: /private/

NO INDEX & NO FOLLOW – Cand folosim < meta name=”robots” content=”noindex, follow” >?

O alta modalitate de a restrictiona accesul robotilor motoarelor de cautare la anumite pagini ce genereaza duplicate content sau la sectiuni cu rol de sortare intr-un site (paginile de filtre) este utilizarea < meta name=”robots” content=”noindex, follow” >. Un site care genereaza continut duplicat atrage in mod negativ atentia motoarelor de cautare.

Paginile generate din accesarea sistemelor de filtrare, de sortare, tag-urile sau alte pagini utile doar pentru uzabilitate ar trebui analizate si programate pentru a fi oprite de la indexare. Se recomanda alegerea “noindex, nofollow” pentru a nu indexa si nu urmari aceste pagini sau link-urile generate in cadrul lor si respective “noindex, follow” pentru a nu permite indexarea paginile dar totusi sa existe posibilitatea urmariri link-urilor din cadrul lor.

“REL = CANONICAL”

Rolul “rel=canonical” este de a elimina paginile duplicate generate de folosirea unor URL-uri de urmarire a performantei (UTM-uri), paginatii dinamice sau alte tipuri de pagini care genereaza continut duplicat din cauza folosirii de URL-uri generate dinamic. Nu este recomandat sa se foloseasca “rel=canonical” pentru a nu indexa pagini de sortare sau filtrare. Pentru astfel de pagini este recomandat sa se utilizeze “meta noindex” si nu “rel=canonical”.

Recomandare Generala

Nu permiteti indexarea paginilor considerate fara valoare SEO doar din dorinta de a avea un numar mare de pagini in indexul Google sau in speranta ca acestea vor genera trafic suplimentar in site. Google va poate aplica o penalizare (cu siguranta, de evitat). Apelati la tehnici / actiuni SEO de eliminare a duplicate content-ului, imbunatatind astfel experienta utilizatorului cu site-ul si usurand activitatea de analiza a  robotilor motoarelor de cautare.

Pentru toate aceste actiuni, poti apela la o agentie care presteaza servicii SEO pentru a se asigura ca toate aspectele site-ului tau sunt in regula. In plus, specialistii SEO iti pot face recomandari pentru a-ti creste afacerea online.