判断题 爬虫是一种编程语言。

判断题 网站中的robots.txt可以无视。

判断题 爬虫必须用python编写。