robots.txtを読むためのPythonライブラリーです。 今度ボットを作るときに使ってみようかと思います。 13.3. robotparser ― robots.txt のためのパーザ ― Python 2.7ja1 documentationTwitterボット プログラミングテクニック作者: 蒲生睦男出版社/メーカー:…