对象存储日志分析_日志分析

日志分析功能

当您开启了对象存储（Cloud Object Storage，COS）日志存储功能后，可以启用日志分析功能，对生成的日志文件做进一步数据分析，日志分析功能会整合指定时间范围内的日志文件进行统计分析，提取关键指标供您查看，如果您需要分析某个OSS目录下文件的外网流出流量，您可以通过OSS访问日志中的host字段过滤出OSS外网访问域名，通过sync_request字段排除CDN回源请求，通过object字段前缀匹配某个OSS目录下的文件，然后通过content_length_out字段计算总和，从而获得指定目录下所有文件传输到外网的数据量总和。

设置日志检索

对象存储（Cloud Object Storage，COS）基于日志服务（Cloud Log Service，CLS）提供日志检索功能，日志检索，又称实时日志功能，能够记录存储桶相关的各种请求日志，并实现对日志数据的实时检索与分析，您可以在COS控制台快速为存储桶开启此功能，进一步帮助您完成异常事件回溯和问题定位等工作。

操作步骤如下：

1、开通日志检索：

登录对象存储控制台。

在左侧导航栏中，单击存储桶列表，进入存储桶列表管理页面。

找到需要开启日志检索的存储桶，单击该存储桶名称，进入该存储桶管理页面。

在左侧导航栏中，选择日志管理 > 日志检索。

在日志检索页面，若当前存储桶未开通实时日志功能，请单击立即开通进行使用。

2、开启字段统计分析：

索引配置是进行检索分析的必要条件，只有开启索引才能对日志进行检索分析，索引配置较为复杂，建议您使用CLS编辑索引配置中的推荐配置，能够满足大多数使用需求。

日志检索支持按照字段进行快速统计分析，无需填写查询语句，COS默认支持字段请参见日志字段说明。

3、输入检索分析语句：

注意：检索分析语句的使用介绍可参见语法规则，存储桶访问日志分析方法详见COS访问日志分析最佳实践。

检索分析语句由检索条件和SQL语句组成，输入检索分析语句，对访问日志进行检索和统计分析。

4、查看日志检索结果、统计分析结果：

检索成功后，在日志检索页面可查看访问日志的检索结果、统计分析结果，分别对应原始日志和统计图表，支持快捷切换。

5、下载日志和导出分析结果：

您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。

6、关闭日志检索：

如需关闭已开启统计的字段，请使用上方的索引配置。

监控审计与敏感数据保护

监控服务：OSS监控服务为您提供系统基本运行状态、性能以及计量等方面的监控数据指标，并且提供自定义报警服务，帮助您跟踪请求、分析使用情况、统计业务趋势，及时发现以及诊断系统的相关问题。

配置审计：配置审计（Cloud Config）是一项资源审计服务，为您提供面向资源的配置历史追踪、配置合规审计等能力，它能够监控OSS的不合规设置，提醒手动修复或使用函数计算自动修复，面对大量资源，帮您轻松实现基础设施的自主监管，确保持续性合规。

敏感数据检测与审计：您在OSS上存储的数据可能包括一些敏感信息，例如个人隐私信息、密码、密钥、敏感图片等，如果您希望更好的针对敏感数据进行识别、分类、分级和保护，可以将OSS与敏感数据保护SDDP结合使用，SDDP可在您完成数据源识别授权后，从您的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解数据资产的安全状态。

实时日志查询与日志转存

实时日志查询：通过与日志服务SLS相结合，OSS还支持实时日志查询功能，您可以在OSS控制台直接查询OSS访问日志，完成OSS访问的操作审计、访问统计、异常事件回溯和问题定位等工作。

日志转存：访问对象存储OSS的过程中会产生大量的访问日志，您可以通过日志转存功能将这些日志按照固定命名规则，以小时为单位生成日志文件写入您指定的Bucket，对于已存储的日志，您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。

相关问题与解答

Q1: 如何开启对象存储COS的日志分析功能？

A1: 登录COS控制台，找到需要开启日志分析的存储桶，进入存储桶管理页面，选择日志管理 > 日志检索，如果当前存储桶未开通实时日志功能，单击立即开通即可。

Q2: 如何使用OSS访问日志进行流量分析？

A2: 您可以通过OSS访问日志中的host字段过滤出OSS外网访问域名，通过sync_request字段排除CDN回源请求，通过object字段前缀匹配某个OSS目录下的文件，然后通过content_length_out字段计算总和，从而获得指定目录下所有文件传输到外网的数据量总和。