Author:殷帅鹏

Creation Date:2021-12-08

Update Notes:

  • 暂无

参考地址 https://www.elastic.co/cn/


2022-02-17: 培训结束

# ELKF是什么?

ELKF实际上是四个工具的集合,Elasticsearch (opens new window) + Logstash (opens new window) + Kibana (opens new window)+Filebeat (opens new window),这四个工具组合形成了一套实用、易用的针对日志数据做解决方案的框架,很多公司利用它来搭建可视化的海量日志分析平台。

  1. Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况。
  2. Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。
  3. Kibana 是一个免费且开放的用户界面,能够让您对 Elasticsearch 数据进行可视化,并让您在 Elastic Stack 中进行导航。您可以进行各种操作,从跟踪查询负载,到理解请求如何流经您的整个应用,都能轻松完成。
  4. Filebeat 是一个用于转发和集中日志数据的轻量级传送器。作为代理安装在您的服务器上,Filebeat 监控您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch (opens new window)Logstash (opens new window)以进行索引。

# ELKF能干什么?

作为一套解决方案,清楚它能为我们做什么,能解决什么问题,是我们对方案选型的重中之重。这里简单介绍几个应用场景。

  1. 应用出现故障,需要通过日志排查故障信息。当应用已部署了多个环境时,这时排查的难度和耗时就是一个巨大的损耗。而ELKF就可以对多个环境的日志进行收集,过滤,存储,检错,可视化。届时你只需要查看kibana上的日志信息,就可以找出故障所在。
  2. 针对应用在生产环境上的表现需要数据支撑,如访客数,功能调用量,出错率等等。此类数据的收集,当然可以通过使用别的产品或编写一套程序进行输出,是有其一定的效果。但能像ELKF这样对应用无入侵,且功能强大的开源软件。那是少之又少了。

# 开始 ELKF

本篇只针对项目中正在使用架构进行介绍。

ELKF下载安装请参见运维管理,下文只介绍关于部署需注意配置项。