robotparser

robots.txtを読むためのPythonライブラリーです。
今度ボットを作るときに使ってみようかと思います。
13.3. robotparser ― robots.txt のためのパーザ ― Python 2.7ja1 documentation

Twitterボット プログラミングテクニック