基础规则

摘要：robot服务器基础规则是指网络爬虫（robot）在访问网站时需遵守的一组标准行为准则。这些规则通常通过robots.txt文件来表达，指导爬虫哪些页面可以抓取，哪些应避免访问，以保护网站的隐私和资源不被过度消耗。