问答题 请简述使用网络爬虫的好处。

问答题 什么是网络爬虫？

问答题 请简述robots.txt 文件的作用。