robots.txtメーカー

robots.txtメーカーの使い方

robots.txtメーカーは、Webサイトのクローラーに対して動作を制御するためのファイル【robots.txt】を簡単に生成するツールです。

使い方の手順

1. 『すべてのクローラーを許可する』か『すべてを拒否』のいずれかのオプションを選択します。
2. クロールを拒否したいパスを入力します。必要に応じて、複数のパスを追加できます。
   ※「/」で始まり「/」で終わるルートに対する相対パスで入力して下さい。
3. クロールを遅延させたい場合は、適切な遅延時間を選択します。
4. サイトマップのURLを入力します。サイトマップが複数ある場合はURLを追加できます。
5. 生成されたrobots.txtの内容が表示されます。
6. 生成されたrobots.txtをクリックしてクリップボードにコピーするか、ダウンロードボタンをクリックしてダウンロードします。

robots.txtとは？

robots.txtは、Webサイトの管理者がクローラーに対して訪問を許可または制限するためのファイルです。
robots.txtをWebサイトのルートディレクトリに配置すると、クローラーがWebサイトを訪問する前に参照します。

クローラーとは？

クローラーは、検索エンジンなどのWebサイトでインデックスを作成するプログラムです。
ウェブ上の情報を収集やインデックスをすることで、検索を行われたときの結果を適切なものにしています。

robots.txtメーカーを使用することで、面倒なrobots.txt作成を簡単に終わらせることができます。

使い道

• Webサイトやブログの制作時の時短ツール
• Web制作の設定漏れ防止
• SEO対策

【robots.txtメーカー】を使用して、覚えにくいrobots.txtの記述を簡単に設定することができます。