如何在CentOS7上快速部署一套完整的ELK日志系统？

在现代IT运维和开发环境中,集中式日志管理已成为不可或缺的一环，它能够帮助团队快速定位问题、分析系统性能、洞察用户行为，ELK技术栈（Elasticsearch、Logstash、Kibana）正是实现这一目标的黄金组合，本文将详细介绍如何在稳定可靠的CentOS 7系统上，一步步构建一个功能完备的centos7elk日志分析平台。

ELK技术栈组件解析

ELK并非单一软件,而是三个开源项目的首字母缩写，它们各司其职，协同工作，构成了强大的日志处理流程。

组件	功能	端口	描述
Elasticsearch	数据存储与搜索引擎	9200 (HTTP), 9300 (TCP)	负责存储、索引和搜索所有接收到的日志数据，提供近实时的数据查询能力。
Logstash	数据收集与处理管道	作为数据采集器，能够从多种来源（如文件、 syslog、 Beats）收集数据，进行过滤、解析和转换，然后发送到Elasticsearch。
Kibana	数据可视化与分析平台	5601	提供一个基于Web的图形化界面，用于在Elasticsearch中索引的数据上进行搜索、查看和交互式分析，创建仪表盘和图表。

在CentOS 7上部署ELK环境

在CentOS 7上部署centos7elk环境需要遵循一定的顺序，通常为先安装Elasticsearch，再配置Logstash，最后部署Kibana。

第一步：准备工作

在开始安装之前,确保系统是最新状态，并安装Java运行环境，因为ELK组件依赖Java。

# 更新系统
sudo yum update -y
# 安装OpenJDK 8（推荐版本）
sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
# 验证Java安装
java -version

第二步：安装与配置Elasticsearch

1. 导入Elasticsearch公钥并添加YUM仓库：

   sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
   sudo cat > /etc/yum.repos.d/elasticsearch.repo <<EOF
   [elasticsearch]
   name=Elasticsearch repository for 7.x packages
   baseurl=https://artifacts.elastic.co/packages/7.x/yum
   gpgcheck=1
   gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
   enabled=0
   autorefresh=1
   type=rpm-md
   EOF

2. 安装并启动Elasticsearch：

   sudo yum install --enablerepo=elasticsearch elasticsearch -y
   sudo systemctl start elasticsearch
   sudo systemctl enable elasticsearch

3. 配置Elasticsearch：
   编辑配置文件 /etc/elasticsearch/elasticsearch.yml，进行基本设置：

   # 设置集群名称
   cluster.name: my-application
   # 设置节点名称
   node.name: node-1
   # 设置网络绑定地址，允许外部访问（生产环境需谨慎）
   network.host: 0.0.0.0
   # 设置默认端口
   http.port: 9200
   # 设置发现新节点的主机列表
   discovery.seed_hosts: ["localhost"]

   重启服务使配置生效：sudo systemctl restart elasticsearch，通过 curl http://localhost:9200 命令验证其是否正常运行。

   

第三步：安装与配置Logstash

1. 添加Logstash YUM仓库并安装：

   sudo cat > /etc/yum.repos.d/logstash.repo <<EOF
   [logstash-7.x]
   name=Elastic repository for 7.x packages
   baseurl=https://artifacts.elastic.co/packages/7.x/yum
   gpgcheck=1
   gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
   enabled=1
   autorefresh=1
   type=rpm-md
   EOF
   sudo yum install logstash -y

2. 创建Logstash配置文件：
   Logstash的配置文件定义了输入、过滤和输出，在 /etc/logstash/conf.d/ 目录下创建一个简单的配置文件，如 syslog.conf：

   input {
     beats {
       port => 5044
     }
   }
   filter {
     if [fields][logtype] == "syslog" {
       grok {
         match => { "message" => "%{SYSLOGBASE}" }
       }
     }
   }
   output {
     elasticsearch {
       hosts => ["http://localhost:9200"]
       index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
     }
   }

   此配置监听5044端口接收来自Filebeat的数据,并输出到Elasticsearch。

3. 启动并启用Logstash：

   sudo systemctl start logstash
   sudo systemctl enable logstash

第四步：安装与配置Kibana

1. 添加Kibana YUM仓库并安装：

   sudo cat > /etc/yum.repos.d/kibana.repo <<EOF
   [kibana-7.x]
   name=Kibana repository for 7.x packages
   baseurl=https://artifacts.elastic.co/packages/7.x/yum
   gpgcheck=1
   gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
   enabled=1
   autorefresh=1
   type=rpm-md
   EOF
   sudo yum install kibana -y

2. 配置Kibana：
   编辑 /etc/kibana/kibana.yml 文件：

   # 设置服务端口
   server.port: 5601
   # 设置服务监听地址
   server.host: "0.0.0.0"
   # 设置Elasticsearch的地址
   elasticsearch.hosts: ["http://localhost:9200"]

   重启服务：sudo systemctl restart kibana && sudo systemctl enable kibana。

   

完成以上步骤后,在浏览器中访问 http://your_server_ip:5601 即可进入Kibana界面，为了将日志数据送入centos7elk平台，通常需要在客户端服务器上部署Filebeat作为轻量级日志收集器，它将日志发送给Logstash进行处理。

相关问答FAQs

Q1: 为什么Kibana启动后，在浏览器中无法访问，或者提示“Kibana server is not ready yet”？

A1: 这个问题通常由以下几个原因导致：

1. 防火墙未开放端口： CentOS 7默认使用firewalld，请确保5601端口已对公网或你的IP地址开放，可以使用命令 sudo firewall-cmd --permanent --add-port=5601/tcp 和 sudo firewall-cmd --reload 来开放端口。
2. Elasticsearch未运行或连接失败： 检查Elasticsearch服务状态 (systemctl status elasticsearch)，并确认Kibana配置文件 (kibana.yml) 中的 elasticsearch.hosts 地址和端口是否正确无误。
3. Kibana服务未完全启动： Kibana启动需要一些时间，特别是首次启动时，请稍等片刻再刷新页面，可以查看Kibana日志 (sudo journalctl -u kibana) 来获取详细的错误信息。

Q2: 在centos7elk环境中，当日志量巨大时，如何优化Elasticsearch的性能？

A2: 面对海量日志，可以从以下几个方面进行优化：

1. 硬件资源： 确保Elasticsearch节点有足够的内存（建议至少8GB，其中一半分配给JVM）、快速的SSD硬盘以及强大的CPU。
2. 索引生命周期管理 (ILM)： 配置ILM策略，自动管理索引的生命周期，将“热”数据（频繁访问）保留在SSD上，30天后转为“温”数据，90天后转为“冷”数据，最终删除，以控制存储成本和集群负载。
3. 分片与副本策略： 合理规划索引的主分片和副本分片数量，过多的主分片会增加集群负担，而过少的副本则会影响数据冗余和查询性能，单个分片大小建议在20GB到50GB之间。
4. 优化Logstash和Filebeat： 在Logstash中避免使用过于复杂的Grok表达式，可以采用更高效的 dissect 过滤器，在Filebeat端，可以配置多路复用或压缩来减少网络开销。