一个php实现的高性能日志采集到clickhouse的工具
很久没有写代码了,最近为了解决公司日志采集问题,写了个小玩意用来替代公司在用的filebeat,实时同步日志到clickhouse,目前已经稳定在线上很多服务器跑了1周了
造轮子的原因:
- filebeat在我司日志采集的时候CPU占用很高
- 采集日志到clickhouse需要filebeat和类似kafka的工具配合使用,维护成本变高
- 市面上没有其他log文件直接采集到clickhouse的工具
于是产生了这个项目,项目地址:github.com/hisune/log2ck
如果觉得有用,可以来个小星星
特性
- 极简代码
- 高性能(在线上业务中对比cpu占用仅为
filebeat
的1/20) - 无第三方服务依赖(例如队列等)
- 配置化
- 定制化(自定义正则、行处理回调函数)
- 支持读取按天分割的log
- 支持断点续传采集