Na platformie Reddit odbyła się ciekawa dyskusja związana ze stosowaniem tagów meta. Wziął w niej udział sam JohnMu, czyli John Mueller, twarz Google i człowiek doskonale znany zarówno z poczucia humoru, jak i umiejętności odpowiadania na pytania w sposób niejednoznaczny. Pomimo tego, że sprawa dotyczy jednych z najpopularniejszych i najbardziej ogólnych meta tagów, takich jak index i follow, krótki komentarz Muellera rzuca nowe światło na stosowanie tych meta tagów. Na czym polegają nowości?
Tagi meta robots index, follow – rola, znaczenie i zastosowanie
Istnieje wiele rodzajów meta, z których najpopularniejsze są elementy takie, jak np. meta title i meta description, które służą do poinformowania wyszukiwarki o tytule i opisie danej treści opublikowanej na stronie internetowej. Stosowanie tagów meta służy więc do przekazywania danych meta, czyli informacji podstawowych dla botów Google i nie tylko. Nieco inne są tagi meta robots. Elementy te różnią się funkcją, którą pełnią, bo oprócz informowania botów wskazują też na zakres działań, na które zezwala właściciel strony.
Informacje przekazywane przez tag meta robots nazywane są dyrektywą, co oznacza, że roboty przeszukujące są zobowiązane do przestrzegania instrukcji, które zostały tam zawarte przez właściciela strony. Jednym z przykładów tego typu tagu meta, którego dotyczy niniejszy artykuł, jest tag noindex, nofollow:
<meta name=”robots” content=”noindex, nofollow”>
Powyższy meta tag przekazuje botom odwiedzającym stronę, aby nie indeksowały treści na stronie internetowej (noindex) i nie śledziły żadnych odnośników (nofollow). Zastosowanie pierwszej komendy powinno mieć taki sam skutek, jak manualne wykluczenie danej strony poprzez Search Console. Komenda noindex powinna skutkować brakiem strony w wynikach wyszukiwania, ponieważ boty nie są uprawnione do pobierania jej treści i indeksacji.
Tag nofollow stosowany jest z kolei także w celach związanych z optymalizacją, w tym m.in. sterowaniem prawidłowym przepływem link juice. Często używamy go w artykułach blogowych, w których znajdują się linki do źródeł zewnętrznych. Nie chcąc jednak “marnować” link juice, a jedynie zastosować informację użyteczną z punktu widzenia użytkownika, możemy wstawić link z komendą nofollow. W przypadku umieszczenia komendy nofollow w tagu meta robots, powinniśmy więc oczekiwać, że strona nie będzie crawlowana przez boty wyszukiwarki. Jeśli jednak będzie tag index, zostanie zaindeksowana.
JohnMu radzi: zamiast follow możesz wpisać “topranking bestcheese”!
Jeżeli powyższe informacje wydają się nudne i oczywiste, to znak, że wciąż mało wiemy o Google. A przynajmniej Google zdaje się przekazywać nie tak wiele merytorycznych i istotnych informacji. Przekonuje nas o tym sam John Mueller z Google.
Przypomnijmy całą historię. Użytkownik na Reddit stwierdził, że na jednej ze stron w meta tagu <meta name=’robots’ content=’index, follow> brakuje komendy index. Zapytał, co powoduje brak wstawienia komendy index?
Mueller odpowiedział w charakterystyczny dla siebie sposób:
“Tag meta robots „index” nie pełni żadnej funkcji (przynajmniej w Google) – jest kompletnie ignorowany. To samo dotyczy tagu „follow”. (…) Możesz użyć czegokolwiek innego, ale będzie to ignorowane. Możesz nawet napisać: `<meta name=”robots” content=”topranking bestcheese”>`, jeśli chcesz wprowadzić ludzi w konsternację”.
Czy meta tagi robots mają jeszcze znaczenie?
Wiele stron specjalistycznych o dużym poziomie autorytetu wciąż sugeruje, że komendy te mają bardzo istotne znaczenie. Nie są to w końcu tagi dotyczące publikacji, jak np. meta description, którego rola ostatnio również znacznie się zmniejszyła w zakresie generowania snippetów. Mamy tu do czynienia z jedną z najbardziej fundamentalnych komend dla SEO od de facto około trzech dekad.
Chociaż ten tag jest powszechny, istnieje znaczne nieporozumienie dotyczące jego działania. Jak wyjaśnia John Mueller, Google nie uwzględnia już meta tagów robots index i follow. W miejscach tych mogą być wpisane dowolne wyrażenia i nie będzie to miało wpływu na zachowanie crawlerów Google.
Osoby z dłuższym doświadczeniem w branży SEO powinny pamiętać, że stosowanie powyższych meta tagów było zalecane jeszcze jakieś dwadzieścia lat temu. Na bazie tych informacji powstały setki publikacji, które wciąż powielają utarte przekonania. Okazuje się jednak, że Google od lat ignoruje tag meta robots z dyrektywami index i follow. Powód jest prozaiczny: indeksowanie i śledzenie (crawling) stron są czynnościami domyślnymi. Inaczej mówiąc, roboty wyszukiwarek automatycznie indeksują treści i śledzą linki, ponieważ taki jest ich podstawowy cel, więc nie trzeba im tego specjalnie nakazywać.
Zgodnie z oficjalną dokumentacją Google: Wartości domyślne to index, follow i nie muszą być określone.” Pełna lista prawidłowych dyrektyw dla Google jest dostępna na stronie Google Central Guidance. Tym samym potwierdza się, że tag <meta name=”robots” content=”index, follow”> jest całkowicie bezużyteczny. Jedyny wpływ, jaki może mieć, polega na tym, że zajmuje on miejsce w kodzie html, chociaż oczywiście nie jest to przesadna wada w tym przypadku.
Meta tagi robots tylko w formie noindex i nofollow
Powyższe nie znaczy, że cały kod jest niepotrzebny. Tag <meta name=”robots” content=”noindex, nofollow”> jest cały czas stosowany i użyteczny. Komenda jest również wewnętrznie logiczna oraz spójna z polityką Google i Microsoft Bing: nakazuje zmianę domyślnych ustawień dla stron internetowych z indeksowania i śledzenia na brak śledzenia i włączenia do indeksu.
Możliwe jest także poinformowanie botów o tym, aby stronę zaindeksowały, ale jej nie śledziły. W tym celu należy zastosować tag: <meta name=”robots” content=”index, nofollow”>. Nie będzie za to respektowana druga z możliwych kombinacji, czyli połączenie komend no index + follow. Teoretycznie mogłoby się wydawać, że takie komendy zobowiązywałyby wyszukiwarkę do śledzenia linków. Google nie jest jednak w stanie śledzić linków na stronie, która nie jest zaindeksowana. Z tego powodu komenda <meta name=”robots” content=”noindex, follow”> zostanie zinterpretowana przez crawlera jako: <meta name=”robots” content=”no index”>.
Meta tagi robots tylko w formie noindex i nofollow
W pozycjonowaniu jedną z piękniejszych (i często bardziej frustrujących) rzeczy jest to, że niszowe aspekty, z którymi mamy do czynienia przez lata, nagle okazują się mieć inne funkcje, czy inne zastosowanie. Czy tak jest również w przypadku tagów meta robots? Niezupełnie.
Szok i niedowierzanie, które zalało Reddit i media społecznościowe po odpowiedzi Johna Muellera bardziej należy traktować jako społecznościowy zryw w poszukiwaniu sensacji (i de facto znak naszych czasów). Nawet początkujący webdeveloper, który zna podstawy składni języka i wie, jak działają komendy, nie powinien być zaskoczony wypowiedzią Johna.
Nie zmienia to jednak faktu, że wiele nawet mocno prestiżowych agencji SEO/SEM oficjalnie zaleca wpisywanie komendy follow. To błędne podejście, o czym przypomina nam wypowiedź Johna. Każdy zresztą jest w stanie zweryfikować te kwestie samodzielnie, edytując dane. Komendy, które można i warto stosować, to np. index, nofollow. Zastosowanie komend index, follow nie jest niepoprawne, ale jest bezcelowe, gdyż bez tej komendy crawlery Google i Binga również powinny zaindeksować witrynę oraz śledzić ją. Reasumując, aby unikać na przyszłość potencjalnych nieporozumień związanych z indeksacją i śledzeniem linków przez wyszukiwarki, warto przed zapytaniem Johna Muellera przede wszystkim poznać podstawy tego, jak działa język html, ponieważ Google na tym polu nie działa w żaden nadzwyczajny sposób.
