问答题
请简述robots.txt 文件的作用。
网站通过一个robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
问答题 请简述聚焦爬虫抓取网页的流程。
问答题 为什么选择Python 作为爬虫的实现语言？
多项选择题 按照使用场景，可以将爬虫划分为哪几种？（）
