YICHA クローラ問題

最近 CGI に毎秒アクセスする YICHA という会社のクローラがあります｡mt4i を使わせていただいている側としては､携帯サイトをクロールしてポータルに情報を蓄積してくれるのはありがたいです｡しかし毎秒 cgi をたたかれて DB へのトランザクションを増やされるのはまったくうれしくない｡単純に一般ユーザがつながりにくくなるからです｡MT と mt4i の cgi 負荷のみなのでハードウェア的にはそこまで困りません｡帯域と気持ちのの問題がもやもやするのです｡

気になるのが2点
・UserAgent を詐称する (クローラを携帯からアクセスしたように見せかける)
・集めた情報を自サイトでしか見せない (画像検索しても､元々そのデータがあるサーバにリンクされていない｡YICHA のコンテンツのように見える)

しょうがなく IP deny することにしました｡
なぜ IP deny なのかは hazama さんのエントリをご覧下さい(タグの付け方に思わず笑ってしまいました)
talk to oneself 2 : YICHA を締め出すには IP でデニらないとダメ

technorati.jp で検索しても､やはり評判は良くないようです

• 色いろ～34567 - Yichaクローラーの活躍


• サンフラットの雑記帳 - マナーの悪いロボットとか


• コミュニケーションのカタチが変わるということ 2nd - [media]さすが彼の国！


• Standards - モバイル検索、新サービスラッシュ