多项选择题 关于聚焦爬虫的工作原理，下列描述正确的是（）

单项选择题 下列选项中，用于在robots.txt 文件中描述搜索引擎名字的是（）

单项选择题 用于robots.txt 文件中，标记不允许的是（）