クローラーの動きを制限し、効率よくサイト内を巡回させるためにはロボットテキストが必要です。
SEO対策の一環として取り組みたいけど、難しそうだと感じる方は多いと思いますが、今回は初心者向けに解説していきます。
ロボットテキストってなに？
ロボットテキストとは、ウェブサイト内のコンテンツを認識するクローラーの動きをコントロールするためのテキストファイルを指します。
主に、サイト内のページやディレクトリなどのファイルへの巡回を制限する際に使うことが多いです。
他にも不要な画像やCSS、javascriptファイルへの巡回を制限したり、サイトマップの存在を知らせるといったことにも可能です。
なぜロボットテキストは重要なの？
先述の通り、ロボットテキストは、クローラーの動きを制限するために記述するものですが、効率よくサイト内を巡回させることで重要なファイルを認識させやすくすることが目的です。
例えば、規模の小さいサイトであれば全てのコンテンツを巡回して評価されますが、楽天やアマゾンなどの大規模なECサイトなどであれば、コンテンツ量は膨大で全てのファイルをクロールすることは難しくなります。
そうすると重要なページを見落として、質の低い部分のみクロールしてサイトの評価を下げられる恐れが出てきますが、それを防ぐためにロボットテキストを用いてクローラーの動きを制限する必要があるのです。
不要なファイルへのクロールを制限し、効率よくサイト内を巡回させて正当な評価を得るための手段として、ロボットテキストは非常に重要になってきます。
ロボットテキストはどうやって書けばいいの？
サイト運用の初期段階や、通常のサイトであればクロールの制御の必要性は低いため、以下のような記述で問題ありません。
また、サイトマップがあればそちらのパスも加えておきましょう。
「
User-Agent
Disallow
Sitemap:http:~
」
なお、上記の記述はテキストファイルから作成し、「robots.txt」として保存、サーバにアップするのが一般的です。
また、サーチコンソールの「robots.txtテスターツール」を用いて新規robots.txtの作成や運用を行うと便利でしょう。
制御するクローラーを指定
Googlebotと呼ばれる主なクローラーの他にも、画像検索のクローラーなど複数種類が存在していますので、User-Agentで制御したいクローラーを指定します。
最初のうちは全てのクローラーを指定し、
「
User-Agent:*
」
と記述しておくと良いでしょう。
クローラーの制限
User-Agentで制御するクローラーを指定したら、Disallowでクローラーの制限をかけたいページやディレクトリを指定します。
「
Disallow: /~/
」
のようにページやディレクトリのURLパスを記述する形となっています。
基本的にロボットテキストはクロール拒否のための記述ということを押さえておきましょう。
クロールの許可
逆に「Allow」を用いてクロールの許可を行うこともできますが、拒否しない限りクロール許可がデフォルトですので、わざわざ指定することはあまりありませんが、「Disallow」で拒否しているファイルの中の一部だけを許可したい場合などに使います。
サイトマップをクローラーに知らせる
サイトマップがhtml形式であればトップページなどの重要なページからたどれますが、xml形式の場合はウェブサイトからたどることができませんので、ロボットテキスト内にサイトマップのパスを記述すると効果的です。
サイトマップが複数ある場合は改行して記述しましょう。
動作確認をする
ロボットテキストの記述が完了したら、先述の「robots.txtテスターツール」を使って、記述は正しいか、うまく動作するかの確認を行います。
まずはサーチコンソールにログインし、メニュー内の「クロール」から「robots.txtテスター」をクリックすると、公開されているロボットテキストが表示されますので、テストを行いましょう。
うまく動作していれば、下部にブロック済みと表示されますので、正しく動作していることがわかります。
ロボットテキストを使用する際に注意すべきこと
ロボットテキストを使用する際、何点か注意すべきことがあります。
それは、記述内容が反映されるまでタイムラグがあること、クローラーは制御できてもユーザーはアクセスできること、アドレスバーにURLを入力すればロボットテキストの内容を見られることなどがあります。
ロボットテキストの内容を見られるということは、こちらが何をクロールされたくないことが伝わるということですので、アクセス制限をかける必要があります。
また、重複しているコンテンツの対処法としての最善手ではありませんので、適切な対応が必要になります。
そもそも数千ページ以下のであればロボットテキストを用いたクロール最適化を行う必要はあまりありません。
これらの注意点を念頭に置いて、適切なサイトパフォーマンスの管理を行いましょう。
まとめ
クローラーの動きを制御することで、SEO対策を行うことができるロボットテキストですが、しっかりと中身を理解した上で運用することが重要です。
Googleにきちんと重要なファイルを認識されるようなサイト構築のために役立ててください。
他にもユーザビリティの向上なども合わせて行うことでより効果的なパフォーマンス管理が行えるでしょう。