ロボットテキストとは?書き方から注意点まで徹底解説

クローラーの動きを制限し、効率よくサイト内を巡回させるためにはロボットテキストが必要です。

SEO対策の一環として取り組みたいけど、難しそうだと感じる方は多いと思いますが、今回は初心者向けに解説していきます。


ロボットテキストってなに?

ロボットテキストとは、ウェブサイト内のコンテンツを認識するクローラーの動きをコントロールするためのテキストファイルを指します。

主に、サイト内のページやディレクトリなどのファイルへの巡回を制限する際に使うことが多いです。

他にも不要な画像やCSS、javascriptファイルへの巡回を制限したり、サイトマップの存在を知らせるといったことにも可能です。

なぜロボットテキストは重要なの?

先述の通り、ロボットテキストは、クローラーの動きを制限するために記述するものですが、効率よくサイト内を巡回させることで重要なファイルを認識させやすくすることが目的です。

例えば、規模の小さいサイトであれば全てのコンテンツを巡回して評価されますが、楽天やアマゾンなどの大規模なECサイトなどであれば、コンテンツ量は膨大で全てのファイルをクロールすることは難しくなります。

そうすると重要なページを見落として、質の低い部分のみクロールしてサイトの評価を下げられる恐れが出てきますが、それを防ぐためにロボットテキストを用いてクローラーの動きを制限する必要があるのです。

不要なファイルへのクロールを制限し、効率よくサイト内を巡回させて正当な評価を得るための手段として、ロボットテキストは非常に重要になってきます。

ロボットテキストはどうやって書けばいいの?

サイト運用の初期段階や、通常のサイトであればクロールの制御の必要性は低いため、以下のような記述で問題ありません。
また、サイトマップがあればそちらのパスも加えておきましょう。


User-Agent
Disallow

Sitemap:http:~

なお、上記の記述はテキストファイルから作成し、「robots.txt」として保存、サーバにアップするのが一般的です。

また、サーチコンソールの「robots.txtテスターツール」を用いて新規robots.txtの作成や運用を行うと便利でしょう。

制御するクローラーを指定

Googlebotと呼ばれる主なクローラーの他にも、画像検索のクローラーなど複数種類が存在していますので、User-Agentで制御したいクローラーを指定します。

最初のうちは全てのクローラーを指定し、

User-Agent:*

と記述しておくと良いでしょう。

クローラーの制限

User-Agentで制御するクローラーを指定したら、Disallowでクローラーの制限をかけたいページやディレクトリを指定します。

Disallow: /~/

のようにページやディレクトリのURLパスを記述する形となっています。

基本的にロボットテキストはクロール拒否のための記述ということを押さえておきましょう。

クロールの許可

逆に「Allow」を用いてクロールの許可を行うこともできますが、拒否しない限りクロール許可がデフォルトですので、わざわざ指定することはあまりありませんが、「Disallow」で拒否しているファイルの中の一部だけを許可したい場合などに使います。

サイトマップをクローラーに知らせる

サイトマップがhtml形式であればトップページなどの重要なページからたどれますが、xml形式の場合はウェブサイトからたどることができませんので、ロボットテキスト内にサイトマップのパスを記述すると効果的です。

サイトマップが複数ある場合は改行して記述しましょう。

動作確認をする

ロボットテキストの記述が完了したら、先述の「robots.txtテスターツール」を使って、記述は正しいか、うまく動作するかの確認を行います。

まずはサーチコンソールにログインし、メニュー内の「クロール」から「robots.txtテスター」をクリックすると、公開されているロボットテキストが表示されますので、テストを行いましょう。

うまく動作していれば、下部にブロック済みと表示されますので、正しく動作していることがわかります。

ロボットテキストを使用する際に注意すべきこと

ロボットテキストを使用する際、何点か注意すべきことがあります。

それは、記述内容が反映されるまでタイムラグがあること、クローラーは制御できてもユーザーはアクセスできること、アドレスバーにURLを入力すればロボットテキストの内容を見られることなどがあります。

ロボットテキストの内容を見られるということは、こちらが何をクロールされたくないことが伝わるということですので、アクセス制限をかける必要があります。

また、重複しているコンテンツの対処法としての最善手ではありませんので、適切な対応が必要になります。

そもそも数千ページ以下のであればロボットテキストを用いたクロール最適化を行う必要はあまりありません

これらの注意点を念頭に置いて、適切なサイトパフォーマンスの管理を行いましょう。

まとめ

クローラーの動きを制御することで、SEO対策を行うことができるロボットテキストですが、しっかりと中身を理解した上で運用することが重要です。

Googleにきちんと重要なファイルを認識されるようなサイト構築のために役立ててください。

他にもユーザビリティの向上なども合わせて行うことでより効果的なパフォーマンス管理が行えるでしょう。

The following two tabs change content below.

西原 豊明

名前:西原豊明(ニシハラトヨアキ)。 事業:転売ビジネス(主に輸入)/転売ビジネススクール運営/コンサルティング 2015年に会社に勤めながら「副業」で転売ビジネスを開始し、月収200万円以上を安定的に稼ぎ続ける事に成功した後「失敗する事のないビジネス」をコンセプトに初心者・上級者を問わずして資産構築とサポートの提供をしている。

コメント

  • トラックバックは利用できません。

  • コメント (0)

  1. この記事へのコメントはありません。

プロフィール



西原 豊明
1985年11月生まれ(33歳)
輸入と副業セミナー開催の「株式会社TORASCO」代表取締役。
副業コンサルタント。
モットーは「働くこと」。工業高校に進学し、3年間で800万円を稼ぐ。1日8時間働き、学校が休みの日は12時間働いたことも。バイトは月2日しか休まなかった。
27歳のときに第一子を授かり、その後念願のマイホームを購入するも、住宅ローンで家計は火の車。
「金を稼ぐため」という理由でパチンコにはまる。当時の給料の手取り月額は15万円にもかかわらず、1日10万円負けたことも。家計はさらに悪化。

状況を打開するために模索を始め、30歳になる直前にネットビジネスに出会う。

当時、パソコンもスマホも持っていなかったが、書店で見つけた1冊の本「クビでも年収1億円」(小玉歩著)を読んだことがきっかけだった。
サラリーマンを続けながら、副業としてネットビジネスを開始するも、最初の半年ほどは月2万円ほどしか稼げず。
ただ時間だけはかかったので、当時の時給は10円ほど。 挫折と失敗を繰り返していた折に、最高のメンター(師)と出会う。

副業開始から9カ月目に、無在庫輸入ビジネスを始め、これを始めてから3カ月で月収100万円、5カ月で月収200万円を達成。
この実績を、世の中のサラリーマンたちに広めたいと考え、無在庫輸入ビジネスをレクチャーするセミナーを開始。
2017年8月、株式会社TORASCO設立。


PAGE TOP