robots.txtファイルとは?

11.10.14 00:47 | コメント(0)

検索エンジンに対する命令を記述するrobots.txtファイル

robots.txtファイルとは、サイト内の特定のページやウェブサイトがGooglebotなどのウェブクローラ、検索エンジンのクローラーに巡回させないようにするテキストファイルです。

Googlebot

Google
robots.txtファイルは基本的には、コマンド一覧で、検索エンジンにURLの取得の可否を指示します。
ウェブサイトのURLや特定のページをコマンドで設定を行えば、検索の検索結果に表示されず、インデックス登録もされません。

サイト全体がGoogleのインデックスに登録されるようにする場合は、robots.txtファイルの作成は行わないでください。
robots.txtファイルの作成は「ウェブマスターツール」でも行うことが出来ます。

▼ウェブマスターツールはこちら
https://www.google.com/webmasters/tools/home?hl=ja
カテゴリ:Google検索エンジンについて, Google関連情報と使い方, SEOとSEMの基礎対策, ウェブマスターツール(Web Masters), 検索エンジン最適化とSEO対策を学ぶ

Facebookでコメントする

コメントする

おすすめの記事

Facebookの投稿
ウェブ制作技術 SNS・ブログ
おすすめウェブサイト
ウェブ制作のご注文は全国対応

北海道 青森 岩手 秋田 宮城 山形 福島 東京 神奈川 埼玉県 千葉 茨城 群馬 栃木 愛知 静岡 三重 岐阜 新潟 長野 山梨 石川 富山 福井 大阪 京都 奈良 兵庫 滋賀 和歌山 岡山 広島 鳥取 山口 島根 愛媛 徳島 高知 香川 福岡 佐賀 長崎 大分 熊本 宮崎 鹿児島 沖縄

PAGE TOP