前置き。
Google Webmasterのクロールページに、エラーがずっと出ていたのでとうとうrobots.txtを作成しました。
というか、Google Webmasterの表記があたかも既にアップロード済みのような文面なので、作ってあると思ったよ。
こういう表記で、「最終ダウンロード9時間前」、「ステータス」が「成功」とあるので、ちゃんと作ってあると勘違いしていた。
robots.txtのファイル自体、アップロードしていないのに、存在していないのに変だなーと思っていたら、変で正解でした。
だって作成してないし、アップロードしていないんだもん!
エラーの確認のしかた。
それでは、どこでエラーを確認すればいいのかというと、
web masterツールの、「クロール」 > 「クロールエラー」 から。
URLエラーが出ていたら、robots.txtの設定を変えた方がよい、ということだと思います。
robots.txtの作成の仕方
それで、今回作成したrobots.txtの内容はこちら。
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /*? Sitemap: https://diovnull.com/sitemap.xml
これをルートディレクトリに入れて終わり。web masterツールで確認もできるので、確認してから入れるといいかもしれません。
(確認場所:「クロール」 > 「ブロックされたURL」)
バズ部さんや、RPGLIFEさんのrobots.txtを参考にさせていただきました。
おまけ
Googleのrobots.txtも参考にしてみたりしました。すごく・・・長かったです。