《Learning ELK Stack》前言
前言
- 随着云计算和大数据的发展,分布式架构已经成为常态。在分布式系统中,日志也随之分布到多台服务器上。这时候,要借助日志来排查系统问题,或者分析业务数据等,成本就比传统的单机系统要高很多
- 从大数据的角度来看,大数据的来源,主要包括
- 数据库
- 日志文件
- 爬虫
- 其中日志文件是最常见也是量最大的数据来源。爬虫也经常会将初步处理的数据以文件的形式存放,也可以归结到日志文件一类。解决日志文件的采集、解析和分析,也是大数据时代的普遍需求
- 所以,在云计算和大数据时代,将分布在多台服务器上的日志集中起来,统一地进行存储、解析、搜索和分析展现,成为一种普遍需求。在开源领域,
ELK
技术栈是解决日志问题的一种流行方案。传统的基于倒排索引的搜索功能之外,通过引入列式存储DocValue
,具备了不错的分析能力 - 但要用好这套开源产品,也需要深入理解每个组件的细节,需要有一支技术能力较强的团队来维护和开发
本作品采用《CC 协议》,转载必须注明作者和本文链接