grin222

分类

未归档(3)

/ 注册

全部文章（共1篇）

urllib.robotparser --- robots.txt 语法分析程序

此模块提供了一个单独的类 RobotFileParser，它可以回答关于某个特定用户代理是否能在 Web 站点获取发布 robots.txt 文件的 URL 的问题。 class urllib.robotparser.RobotFileParser(url='')这个类提供了一些可以读取、解析和回答...

爬虫 python

2020-06-02

0 506