robots.txt生成

このツールについて

基本的な robots.txt をフォームから生成します。サイトマップのURLと、クロールを禁止したいパスを指定すると、標準的な記述を出力します。robots.txt をはじめて用意するときの雛形に使えます。

使い方

1. 1Sitemap のURLを入力します。
2. 2クロールを禁止する（Disallow）パスを入力します。
3. 3robots.txt の記述が生成されます。

よくある質問

どんな内容が出力されますか？

全クローラ向けに、サイト全体を許可（Allow: /）しつつ指定パスを Disallow し、Sitemap のURLを記載した記述を出力します。

Disallow を複数指定できますか？

1つのパスを指定する基本形です。複数禁止したい場合は、出力をコピーして Disallow 行を追記してください。

そのまま設置して大丈夫ですか？

基本的な雛形です。サイトの構成に合わせて内容を確認・調整してから設置してください。