robots.txt サイトマップの場所指定
PHP
User-agent: *
Sitemap: http://emample.jp/sitemap.xml
Sitemap: http://emample.jp/more/sitemap.xml
Sitemap: http://emample.jp/any/sitemap.xml
Disallow:
htmlにインデックス登録拒否設定を記述する
PHP
<!-- インデックス拒否 -->
<meta name="robots" content="none">
<meta name="robots" content="nofollow,noarchive">
<meta name="robots" content="index,nofollow">
<meta name="googlebot" content="none">
<meta name="slurp,bingbot" content="nofollow">
