こんにちは、日本システム技研の会津です。
今回は、以前仕事でChromeの検索システムについて少し触れることがあったので、それを書こうと思います。

クローラーとは

クローラーとは、Googleが検索結果として出すサイトの情報を収集するプログラムのことです。このプログラムが定期的に各サイトを裏で巡回し、新しいページや更新箇所を読み、Googleのデータベースに情報を集めます。そうしてGoogleの検索結果に反映されていきます。

クロールされるには

裏で動いているプログラムのため、いつサイトを読まれるかはわかりません。サイトを更新しても、クローラーに読まれないとGoogle検索には反映されないので、その時は待ちましょう。また、こちらからクローラーを申請する方法もあります。「Googleサーチコンソール」を使えば、設定したURLにクローラーを申請することができます。自分は仕事でこれを使いました。また、画像にaltを設定したり、サイトの更新頻度を上げるのも有効なようです。
逆にクロールされたくない場合は、サイトのheadタグの下に「<meta name="robots" content="noindex">」を挿入します。クローラーがこのタグを読みますと、検索結果に表示しないようになります。また、「Googleサーチコンソール」の「URL削除」という機能を使えば、期間限定ではありますが、検索結果に出てこなくなります。期間はおおよそ90日ほどで、「URL削除」の方がタグの埋め込みより即効性があります。自分が仕事で使用したのは、「URL削除」でした。

まとめ

これらはSEO対策にも有効かと思います。サイトを検索上位に来させるためには、クローラーのことは避けられません。ちなみに、調べたところによると、内部的にはGoogleの検索とYahooの検索ロジックは共通なので、Google側の対策をするとYahooにも反映されます。