robots协议中能不能爬数据的情况
查看robots.txt只有上图的内容，那对应的网站的数据是可以爬还是不能爬？百度了一下，有一些网站会写明什么能爬什么不能，但像这样只有这两句的是可以还是不可以
1641 1 0
1个回答
相似问题
年代过于久远，无法发表回答
robots针对的是比如baidu、google这类搜索引擎而言的，不影响你自己爬取。