一个php实现的高性能日志采集到clickhouse的工具

很久没有写代码了,最近为了解决公司日志采集问题,写了个小玩意用来替代公司在用的filebeat,实时同步日志到clickhouse,目前已经稳定在线上很多服务器跑了1周了

造轮子的原因:

  • filebeat在我司日志采集的时候CPU占用很高
  • 采集日志到clickhouse需要filebeat和类似kafka的工具配合使用,维护成本变高
  • 市面上没有其他log文件直接采集到clickhouse的工具

于是产生了这个项目,项目地址:github.com/hisune/log2ck

如果觉得有用,可以来个小星星

特性

  • 极简代码
  • 高性能(在线上业务中对比cpu占用仅为filebeat的1/20)
  • 无第三方服务依赖(例如队列等)
  • 配置化
  • 定制化(自定义正则、行处理回调函数)
  • 支持读取按天分割的log
  • 支持断点续传采集
讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!