逆SEO
逆SEOとは、検索エンジンに検索されるのを拒否するためのものです。
通常の「SEO」の逆で、検索エンジンに検索されなくするようにするための方法です。
方法は、
.htaccess
robots.txt
メタタグ
このみっつの設定です。
メタタグにnoindexを追加するのが一般的ですが、
robots.txtや.htaccessを使うとさらに効果的です。
各検索エンジンに対して効果がある順は
.htaccess
> robots.txt
> メタタグ
となります。
.htaccessの設定
「.htaccess」という「.(ドット)」で始まる名前のファイルは
以下のように作成します。
1、メモ帳で「htaccess.txt」と言う名前のテキストファイルを作成。
2、「htaccess.txt」を「.htaccess」と言う名前に変更。
◆記述方法:(基本的な例)
SetEnvIf User-Agent "Googlebot" shutout
SetEnvIf User-Agent "Slurp" shutout
SetEnvIf User-Agent "msnbot" shutout
SetEnvIf Referer "http://xxxxxxx.ne.jp" shutout
SetEnvIf Referer "http://xxxxxxx.ne.jp" shutout
order Allow,Deny
Allow from all
Deny from env=shutout
(ここで改行を必ず入れる)
#GooglebotはGoogle、
#SlurpはYahoo、
#msnbotはBingのクローラーです。
#「ここのリンク元からのアクセスは拒否」の場合は、
#SetEnvIf Referer "http://xxxxxxxx.ne.jp"
shutout
#と記述。
◆記述方法:徹底的な例
SetEnvIfNoCase User-Agent "msnbot" shutout
SetEnvIfNoCase User-Agent "Googlebot" shutout
SetEnvIfNoCase User-Agent "Slurp" shutout
SetEnvIfNoCase User-Agent "nabot" shutout
SetEnvIfNoCase User-Agent "NaverBot" shutout
SetEnvIfNoCase User-Agent "Yahoo" shutout
SetEnvIfNoCase User-Agent "Yeti/1.0" shutout
SetEnvIfNoCase User-Agent "Y!J" shutout
SetEnvIf User-Agent "inktomi" shutout
SetEnvIf User-Agent "moget" shutout
SetEnvIf User-Agent "ichiro" shutout
SetEnvIf User-Agent "ia_archiver" shutout
SetEnvIfNoCase User-Agent "MarkAgent" shutout
SetEnvIfNoCase User-Agent "marsflag" shutout
SetEnvIfNoCase User-Agent "spider" shutout
SetEnvIfNoCase User-Agent "Baiduspider" shutout
SetEnvIfNoCase User-Agent "Crawler" shutout
SetEnvIfNoCase User-Agent "Yeti" shutout
#ロボットはUAにURLを入れていることが多い
SetEnvIf User-Agent "http://xxxxxxxx.ne.jp" shutout
# Googleから立入禁止
SetEnvIf Referer "^http://www\.google\..*/search" shutout
SetEnvIf Referer "^http://images\.google\..*/images" shutout
# Yahooから立入禁止
SetEnvIf Referer "^http.*search\.yahoo\..*\?" shutout
# MSNから立入禁止
SetEnvIf Referer "^http://search\.msn\..*/results\.aspx\?" shutout
SetEnvIf Referer "^http://search\.live\..*/results\.aspx\?" shutout
# 百度から立入禁止
SetEnvIf Referer "^http://baidu\." shutout
SetEnvIf Referer "^http.*\.baidu\." shutout
order Allow,Deny
Allow from all
Deny from env=shutout
# Google
Deny from 66.249.64.0/19
# Yahoo
Deny from 72.30.0.0/16
Deny from 74.6.0.0/16
#NAVER
Deny from 220.88.0.0/13
Deny from 61.247.192.0/19
#百度
Deny from 202.108.0.0/16
Deny from 60.24.0.0/13
Deny from 122.152.128.0/23
Deny from 202.106.0.0/16
Deny from 221.216.0.0/13
Deny from 61.135.0.0/16
Deny from 203.192.149.0/24
(ここで改行を必ず入れる)
"robots.txt" を無視する、もしくは無視する可能性のあるロボットにアクセス制限を掛けます。
"robots.txt" を順守するのがはっきりしているロボットについては、記述する必要はありません。
削除済みとして処理する方法
[G] = "410 : Gone"を返して、ファイルが永久に削除されたように装います。
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider+ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduMobaider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduImagespider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [NC]
RewriteRule !^robots.txt$ - [G]
親サイトに URL 変更する方法
上記の処理で不安な場合は、
"R=301" を返して、ファイルが永久に親サイトに移転したように書き換えて飛ばします。
次回から、ロボットは、直接親サイトにアクセスするようになります。
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC]
RewriteRule !^robots.txt$ http://ahrefs.com/ [R=301,L]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider+ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduMobaider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduImagespider [NC]
RewriteRule !^robots.txt$ http://www.baidu.jp/ [R=301,L]
RewriteCond %{HTTP_USER_AGENT} Yeti [NC]
RewriteRule !^robots.txt$ http://www.naver.com/ [R=301,L]
◆一番最後は改行を必ず入れる
◆.htaccessはルートディレクトリに入れましょう
robots.txtの設定
User-agent: *
Disallow: /
(全てのクローラーを拒否)
User-agent: Googlebot
Disallow: /
(Googleだけ拒否)
User-agent: Slurp
Disallow: /
(Yahooだけ拒否)
User-agent: msnbot
Disallow: /
(Bingだけ拒否)
◆一番最後は改行を必ず入れる
◆「robot.txt」と「robots.txt」と両方置いておくと無難
メタタグの設定
色々調べて、これが一番効果的かも?と思った、オリジナルメタタグです。
<meta name="robots"
content="noindex,nofollow,noarchive">
<meta name="robots" content="noimageindex,noimageclick">
<meta name="robots" content="nothumbnailindex,nosnippet">
<meta name="libwww-perl" content="noindex,nofollow,none">
<meta name="libwww-perl" content="noarchive,noimageindex,noimageclick">
<meta name="libwww-perl" content="nothumbnailindex,nosnippet">
<meta name="pinterest" content="nopin">
↑これを、<head>~</head>内に記述
.htaccess、robots.txtは、設置したディレクトリの下層フォルダ全てに影響します。
ルートフォルダに設置すれば、サーバー全体に影響します。
またSEOについて色々ありましたら、随時追加していきます。
SEOを意識しすぎない
使う使わないは別にして、色々と情報を見てみるのも楽しいかもしれません。
関係ないのであっても、面白いものが発掘出来るかもしれません。