Gatsby製のサイトにrobots.txtを設定してsitemapを登録する

2020/03/05

こんにちは。たまおさ(@tamaki_osamu)です。

自作したサイトを検索サイトに効率良く知ってもらうには、robots.txt と sitemap を設定しておくのが良いです。

robots.txt とは

robots.txt は検索サイトのクローラーを制御するためのファイルです。検索サイトではクローラーが各サイトを巡回することで情報を集めています。robots.txt を設定しておくと、クローラーが巡回してきた際にクロールするページを指示することができます。

主な用途としては、

  1. 検索結果に表示させたくないサイトを指定する(会員サイトとか)
  2. sitemap を指定する

などがあります。

sitemap とは

sitemap はサイトの構成を表すファイルです。クローラーにサイトの構造を伝えることができインデックスの促進が期待できます。

sitemap は例えばGoogle Search Consleから設定を行うこともできますが、上記にも挙げたように robots.txt で指定しておくことができます。

Gatsby で設定する

GatsbyJSではプラグインを利用することで robots.txt と sitemap を簡単に作成することができます。

gatsby-plugin-robots-txt を使う

robots.txt の作成にはgatsby-plugin-robots-txtが便利です。npmを利用するのであれば、

npm install gatsby-plugin-robots-txt

を実行し、gatsby-config.js に

plugins: [`gatsby-plugin-robots-txt`];

を追記します。

これだけで build 時に robots.txt が自動生成されます。ちょー便利です。デフォルト設定では、host に${siteMetadata.siteUrl}、sitemap に${siteMetadata.siteUrl}/sitemap.xmlが設定されています。このとき${siteMetadata.siteUrl}は、gatsby-config.js に次のように設定した文字列です。

module.exports = {
  siteMetadata: {
    siteUrl: "https://www.tamaosa.com"
  }
};

gatsby-plugin-sitemap を使う

sitemap の作成にはgatsby-plugin-sitemapが便利です。npmを利用するのであれば、

npm install gatsby-plugin-sitemap

を実行し、gatsby-config.js に

plugins: [`gatsby-plugin-sitemap`];

を追記します。

これだけで build 時に sitemap.xml が作成されます。便利すぎます。

以上で robots.txt と sitemap の設定が完了です。

logo

たまおさ

釣りとか登山とか好きです。(@tamaki_osamu)