单项选择题
下列选项中，用于在robots.txt 文件中描述搜索引擎名字的是（）
A.DisallowB.AllowC.acceptD.User-agent
单项选择题 用于robots.txt 文件中，标记不允许的是（）
单项选择题 下列选项中，被称为主题网络爬虫的是（）
单项选择题 下列数据中，能够被网络爬虫抓取的是（）
