问答题
什么是网络爬虫？
网络爬虫，又称为网页蜘蛛、网络机器人，是一种按照一定的规则，自动请求万维网网站并提取网络数据的程序或脚本。
问答题 请简述robots.txt 文件的作用。
问答题 请简述聚焦爬虫抓取网页的流程。
问答题 为什么选择Python 作为爬虫的实现语言？
