ELK+FileBeat日志分析系统

HelloWorld-Q 的个人博客 / 4 / 6 / 创建于 3年前 / 更新于 3年前

filebeat: 负责将日志数据传输到 redis#

Redis：暂时进行缓存#

logstash: 收集缓存中的日志数据#

elasticsearch: 负责存储日志数据#

kibana: 负责显示日志的数据#

流程图#

ELK+FileBeat日志分析系统

拉取 filebeat 镜像#

docker pull elastic/filebeat

启动 filebeat#

docker run -d --name filebeat -v /docker/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /docker/www:/docker/www --privileged=true elastic/filebeat:7.5.1

vim filebeat.yml
配置文件
filebeat.inputs:
- type: log
  paths:
      - /docker/www/lmrs-2008/storage/logs/laravel.log
  multiline.pattern: '^\[[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after
  multiline.timeout: 5s
  scan_frequency: 5s
  fields:
          index: 'laravel-log'
output.redis:
        hosts: ["192.168.126.105:6379"]
        db: "0"
        timeout: 5
        password: "lmrs"
        key: "%{[fields.index]:otherIndex}"

vim kibana.yml
配置文件
server.name: "kibana"
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.126.105:9200"]
xpack.monitoring.ui.container.elasticsearch.enabled: true

logging.dest: /var/log//kibana/kibana.log
i18n.locale: "zh-CN"

ELK+FileBeat日志分析系统

本作品采用《CC 协议》，转载必须注明作者和本文链接

有梦想的人睡不着，没有梦想的人睡不醒。

HelloWorld-Q

311 声望

要坚持写博客

4 人点赞

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

博客

社区老员第二弹 -- 免费开源跨境电商系统 InnoShop 正式发布 15 / 16 |

博客

乐融沃多商户商城现已完全开源 10 / 16 |

博客

Clarity——微软开源并完全免费使用的新一代网站体验分析利器 12 / 1 |

博客

PHPstrom 配置 Laravel Log 格式日志高亮显示 12 / 6 |

博客

Laravel Excpetions(错误处理) 源码分析 15 / 1 |

博客

国产系统级编程语言与编译器，轻松与 C 语言进行交互 15 / 15 |

讨论数量: 6

ligkwww

204 声望

楼主你好，问一下为什么 filebeat 和 es 中间为什么要插入 redis 和 logstash 呢？明明 filebeat 可以直接插入 es，看到过类似的部署方案，但一直没太明白。希望楼主可以帮忙解惑～

3年前评论

HelloWorld-Q （楼主）

是的，可以直接写入es的, 用redis 是缓冲作用，网络中断或者服务中断时，消息不丢失

sunrise丶

Laravel 6.0 译者 96 声望

@ligkwww 插入 es 是需要一个格式的，不大了解能不能直接转为特定的格式提交上 es。增加 redis 和 logstash 这两块的话，可以把数据做一个暂存的，通过 logstash 读取并且转为特定的格式。

3年前评论

ligkwww

204 声望

@HelloWorld-Q @sunrise 丶好的，谢谢。那我理解原因大概有两点：

使用 redis 是为了起到数据缓冲的作用；
使用 logstash 更方便做数据格式的转换。

3年前评论

探索者

148 声望

这个链路有长啊，感觉把简单的事情做的有点复杂了。可以看看这个 github.com/lizhichao/log2ck 直接监听文件写入 clickhouse。实时写入，一个节点就可以到达每秒上千万的写入速度完全够用

3年前评论

sanders

课程读者 647 声望 / 程序员鼓励师 @ KDD

我觉得用 redis 做消息中转有些问题，如果是解决网络链路中断的问题，每增加一个网络访问环节都会增加这个网络的不可靠性，通过网络访问 redis 也适用这个逻辑。另外一个角度说，无论 filebeat 还是 logstash 都有相应的本地队列机制，且 filebeat 有重试队列， logstash 有死信队列，用来处理消息投递失败的问题。

2年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

ELK+FileBeat日志分析系统

filebeat: 负责将日志数据传输到 redis#

Redis：暂时进行缓存#

logstash: 收集缓存中的日志数据#

elasticsearch: 负责存储日志数据#

kibana: 负责显示日志的数据#

流程图#

拉取 filebeat 镜像#

启动 filebeat#

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

ELK+FileBeat日志分析系统

filebeat: 负责将日志数据传输到 redis#

Redis：暂时进行缓存#

logstash: 收集缓存中的日志数据#

elasticsearch: 负责存储日志数据#

kibana: 负责显示日志的数据#

流程图#

拉取 filebeat 镜像#

启动 filebeat#

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录