SEO行っているとインデックスされたくないときがあります。その方法はrobots.txtを設置する以外に、メタタグで行うこともできます。
今回はrobots.txtを設置する方法を解説します。項目は３つ、
・User-Agent
・Disallow
・Sitemap
User-Agentは、検索エンジンを指定できる、基本的には「*」で指定して問題はありません。
Disallowは、指定されたファイルやディレクトリはクロールがブロックされます。
Sitemapは、sitemap.xmlの場所をクローラーに伝えるものです。指定なしでも大丈夫なので、今回はなしで。
例：（ファイル名は robots.txtで必須）
User-Agent:* Disallow:/example/
サーバーにアップします。
作成したら今度はサーバーにアップします。アップする場所はルートディレクトリ、ホームページの一番上の階層ですね。階層を間違えると動作しない。
ファイル名は robots.txt で必須。FTPやサーバーが用意されているファイルマネージャーなでアップできます。
robots.txt テスターで robots.txt をテストする
アップしたファイルが正しいかどうか、きちんと動作するかどうかをチェックできます。
ここをクリックして、ログインしてからテストを行う。
テストは下のほうにあるURLのあとにブロックしたいページのスラッグを入力したら、右側にある赤いボタンをクリック、すると成功なら上のほうで該当ページが赤く表示されます。
あとは反映されるまでまつだけ。