« Nujabes | ホーム | CentOS に Trac をインストール »

2007年7月27日

YICHA クローラ問題

livedoor mobile
最近 CGI に毎秒アクセスする YICHA という会社のクローラがあります。mt4i を使わせていただいている側としては、携帯サイトをクロールしてポータルに情報を蓄積してくれるのはありがたいです。しかし毎秒 cgi をたたかれて DB へのトランザクションを増やされるのはまったくうれしくない。単純に一般ユーザがつながりにくくなるからです。MT と mt4i の cgi 負荷のみなのでハードウェア的にはそこまで困りません。帯域と気持ちのの問題がもやもやするのです。

気になるのが2点
・UserAgent を詐称する (クローラを携帯からアクセスしたように見せかける)
・集めた情報を自サイトでしか見せない (画像検索しても、元々そのデータがあるサーバにリンクされていない。YICHA のコンテンツのように見える)

しょうがなく IP deny することにしました。
なぜ IP deny なのかは hazama さんのエントリをご覧下さい(タグの付け方に思わず笑ってしまいました)
talk to oneself 2 : YICHA を締め出すには IP でデニらないとダメ

technorati.jp で検索しても、やはり評判は良くないようです

トラックバック(0)

トラックバックURL: http://chansuke.com/cgi-bin/mt/mt-tb.cgi/551

Comments

  • I heart FeedBurner
  • track feed ::how come::

このブログ記事について

このページは、chansukeが2007年7月27日 10:00に書いたブログ記事です。

ひとつ前のブログ記事は「Nujabes」です。

次のブログ記事は「CentOS に Trac をインストール」です。

最近のコンテンツはインデックスページで見られます。過去に書かれたものはアーカイブのページで見られます。