ぼろっち先生にSEOをぶつけるの会

逆SEO


逆SEOとは、検索エンジンに検索されるのを拒否するためのものです。
通常の「SEO」の逆で、検索エンジンに検索されなくするようにするための方法です。

方法は、

.htaccess .htaccess
robots.txt robots.txt
メタタグ メタタグ

このみっつの設定です。

メタタグにnoindexを追加するのが一般的ですが、
robots.txtや.htaccessを使うとさらに効果的です。

各検索エンジンに対して効果がある順は
.htaccess  >  robots.txt  >  メタタグ
となります。


線



.htaccess .htaccess


「.htaccess」という「.(ドット)」で始まる名前のファイルは
以下のように作成します。

1、メモ帳で「htaccess.txt」と言う名前のテキストファイルを作成。
2、「htaccess.txt」を「.htaccess」と言う名前に変更。

点線 点線

◆記述方法:(基本的な例)

SetEnvIf User-Agent "Googlebot" shutout
SetEnvIf User-Agent "Slurp" shutout
SetEnvIf User-Agent "msnbot" shutout

SetEnvIf Referer "http://xxxxxxx.ne.jp" shutout
SetEnvIf Referer "http://xxxxxxx.ne.jp" shutout

order Allow,Deny
Allow from all
Deny from env=shutout
ここで改行を必ず入れる


#GooglebotはGoogle、
#SlurpはYahoo、
#msnbotはBingのクローラーです。
#「ここのリンク元からのアクセスは拒否」の場合は、
#SetEnvIf Referer "http://xxxxxxxx.ne.jp" shutout
#と記述。



◆記述方法:徹底的な例

SetEnvIfNoCase User-Agent "msnbot" shutout
SetEnvIfNoCase User-Agent "Googlebot" shutout
SetEnvIfNoCase User-Agent "Slurp" shutout
SetEnvIfNoCase User-Agent "nabot" shutout
SetEnvIfNoCase User-Agent "NaverBot" shutout
SetEnvIfNoCase User-Agent "Yahoo" shutout
SetEnvIfNoCase User-Agent "Yeti/1.0" shutout
SetEnvIfNoCase User-Agent "Y!J" shutout

SetEnvIf User-Agent "inktomi" shutout
SetEnvIf User-Agent "moget" shutout
SetEnvIf User-Agent "ichiro" shutout
SetEnvIf User-Agent "ia_archiver" shutout
SetEnvIfNoCase User-Agent "MarkAgent" shutout
SetEnvIfNoCase User-Agent "marsflag" shutout
SetEnvIfNoCase User-Agent "spider" shutout
SetEnvIfNoCase User-Agent "Baiduspider" shutout
SetEnvIfNoCase User-Agent "Crawler" shutout
SetEnvIfNoCase User-Agent "Yeti" shutout
#ロボットはUAにURLを入れていることが多い
SetEnvIf User-Agent "http://xxxxxxxx.ne.jp" shutout

# Googleから立入禁止
SetEnvIf Referer "^http://www\.google\..*/search" shutout
SetEnvIf Referer "^http://images\.google\..*/images" shutout
# Yahooから立入禁止
SetEnvIf Referer "^http.*search\.yahoo\..*\?" shutout
# MSNから立入禁止
SetEnvIf Referer "^http://search\.msn\..*/results\.aspx\?" shutout
SetEnvIf Referer "^http://search\.live\..*/results\.aspx\?" shutout
# 百度から立入禁止
SetEnvIf Referer "^http://baidu\." shutout
SetEnvIf Referer "^http.*\.baidu\." shutout

order Allow,Deny
Allow from all
Deny from env=shutout

# Google
Deny from 66.249.64.0/19
# Yahoo
Deny from 72.30.0.0/16
Deny from 74.6.0.0/16
#NAVER
Deny from 220.88.0.0/13
Deny from 61.247.192.0/19
#百度
Deny from 202.108.0.0/16
Deny from 60.24.0.0/13
Deny from 122.152.128.0/23
Deny from 202.106.0.0/16
Deny from 221.216.0.0/13
Deny from 61.135.0.0/16
Deny from 203.192.149.0/24
ここで改行を必ず入れる



"robots.txt" を無視する、もしくは無視する可能性のあるロボットにアクセス制限を掛けます。
"robots.txt" を順守するのがはっきりしているロボットについては、記述する必要はありません。



削除済みとして処理する方法

[G] = "410 : Gone"を返して、ファイルが永久に削除されたように装います。

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider+ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduMobaider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduImagespider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [NC]
RewriteRule !^robots.txt$ - [G]



親サイトに URL 変更する方法

上記の処理で不安な場合は、
"R=301" を返して、ファイルが永久に親サイトに移転したように書き換えて飛ばします。
次回から、ロボットは、直接親サイトにアクセスするようになります。


RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC]
RewriteRule !^robots.txt$ http://ahrefs.com/ [R=301,L]

RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider+ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduMobaider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduImagespider [NC]
RewriteRule !^robots.txt$ http://www.baidu.jp/ [R=301,L]

RewriteCond %{HTTP_USER_AGENT} Yeti [NC]
RewriteRule !^robots.txt$ http://www.naver.com/ [R=301,L]




.htaccessリに


線



robots.txt robots.txt


User-agent: *
Disallow: /
(全てのクローラーを拒否)

User-agent: Googlebot
Disallow: /
(Googleだけ拒否)

User-agent: Slurp
Disallow: /
(Yahooだけ拒否)

User-agent: msnbot
Disallow: /

(Bingだけ拒否)



robot.txtrobots.txt


線



メタタグ


色々調べて、これが一番効果的かも?と思った、オリジナルメタタグです。

<meta name="robots" content="noindex,nofollow,noarchive">
<meta name="robots" content="noimageindex,noimageclick">
<meta name="robots" content="nothumbnailindex,nosnippet">
<meta name="libwww-perl" content="noindex,nofollow,none">
<meta name="libwww-perl" content="noarchive,noimageindex,noimageclick">
<meta name="libwww-perl" content="nothumbnailindex,nosnippet">
<meta name="pinterest" content="nopin">



↑これを、<head>~</head>内に記述


線



.htaccess、robots.txtは、設置したディレクトリの下層フォルダ全てに影響します。
ルートフォルダに設置すれば、サーバー全体に影響します。


またSEOについて色々ありましたら、随時追加していきます。
 


SEOを意識しすぎない

お洒落心のあるフォント、見られたくないページ対策のためのSEO、様々な技術?があります。
使う使わないは別にして、色々と情報を見てみるのも楽しいかもしれません。
関係ないのであっても、面白いものが発掘出来るかもしれません。


コメント
このページのトップへ
小説と古事記のサイト:ふわふわ