特定のページを検索されないようにする「robots.txt」を解説

SEO行っているとインデックスされたくないときがあります。その方法はrobots.txtを設置する以外に、メタタグで行うこともできます。

今回はrobots.txtを設置する方法を解説します。項目は3つ、

・User-Agent
・Disallow
・Sitemap

User-Agentは、検索エンジンを指定できる、基本的には「*」で指定して問題はありません。

Disallowは、指定されたファイルやディレクトリはクロールがブロックされます。

Sitemapは、sitemap.xmlの場所をクローラーに伝えるものです。指定なしでも大丈夫なので、今回はなしで。

例:(ファイル名は robots.txtで必須)

User-Agent:*
Disallow:/example/ 

サーバーにアップします。


作成したら今度はサーバーにアップします。アップする場所はルートディレクトリ、ホームページの一番上の階層ですね。階層を間違えると動作しない。

ファイル名は robots.txt で必須。FTPやサーバーが用意されているファイルマネージャーなでアップできます。

robots.txt テスターで robots.txt をテストする


アップしたファイルが正しいかどうか、きちんと動作するかどうかをチェックできます。

ここをクリックして、ログインしてからテストを行う。

テストは下のほうにあるURLのあとにブロックしたいページのスラッグを入力したら、右側にある赤いボタンをクリック、すると成功なら上のほうで該当ページが赤く表示されます。

あとは反映されるまでまつだけ。