Yahooモバイルはrobots.txtを読み取ってない

ちょっと気になったので、モバイル用クローラーがrobots.txtを読み取っているかどうかのログを見てみた。

すると・・

Yahooモバイルのクローラーはrobots.txtを読み取らず巡回しているようです。

ちなみにGoogleモバイルクローラーは、robots.txtを巡回しています。

インデックス拒否しても、モバイル検索では通用しないかもしれませんね

インデックスされたくない場合は、IP制限・IP拒否するほうが確実かもしれません。