Nutch

アクセスログを見ていたら見慣れない

unknown/Nutch-1.0 (unknown; unknown; unknown)

というUserAgentがありました。
Nutchというオープンソースのサーチエンジンプロジェクトがあるらしいですね。

検索エンジンはなぜ見つけるのか