7年沉淀之作滴滴Logi日志服务套件

01 日志服务面临的挑战

随着中美摩擦的降级，国内开源文化的衰亡，各大互联网公司以及各行业头部企业，纷纷走向开源、平安、自主、可控的倒退路线。基于开源引擎 Kafka/ElasticSearch，构建了日志基础设施的基础架构共识：

• 日志采集能力：服务端、客户端、Web、数据库的日志收集工作；
• 日志ETL能力：日志实时ETL、ETL链路监控，ETL链路品质度量；
• 日志检索能力：全文搜寻能力、日志上下文还原能力；
• 日志剖析能力：Adhoc的日志OLAP能力。

随着日志流量、日志工作继续减少，使得“日志时效性、运维敌对性、服务稳定性、数据安全性”问题变得十分辣手，如：

1）日志采集阶段面临的挑战

• 须要反对物理机、虚拟机、容器化场景，以服务粒度进行日志采集；反对弹性动静扩缩容；
• 须要反对海量、数十万Agent监控、运维、多版本治理；
• 须要反对共享多租户分级保障模型；
• 须要针对工作级别提供丰盛的指标，故障诊断和自愈能力。

2）日志ETL阶段面临的挑战

• ETL语义表白要简略清晰可运维，同时与底层基础设施解耦，对SQL表达方式是强需要；
• ETL链路波及多个环节，各自有本人的指标体系，口径不对立，问题定位与排查老本很高；
• ETL链路波及日志存储与计算，在Quota内端到端弹性扩缩能力充斥了技术挑战。

3）日志存储面临的挑战

• Kafka磁盘IO热点导致的集群生产生产雪崩；
• Topic资源隔离差，流量突增、回溯生产，影响集群稳定性；
• Kafka有大量的集群和topic的操作须要平台来承接社区Kafka-Manager能力缺失。

4）日志检索面临的挑战

• ElasticSearch受制于元信息瓶颈，集群Shard数无奈冲破数十万级，须要解决扩展性问题；
• ElasticSearch集群资源多租户与查问隔离体系的缺失，是稳定性的最大杀手；
• ElasticSearch端到端立体化监控体系缺失，运维保障能力有余，须要解决运维敌对性问题。

5）日志剖析面临的挑战

• 亿级明细数据级的Adhoc查问剖析能力；
• 亿级基数维度列高精去重场景能力的撑持；
• 端到端立体化监控体系的缺失，运维保障能力有余，须要解决运维敌对性问题。

02 滴滴Logi日志服务套件

随同着企业数字化转型、业务全面上云的过程，微服务、容器化等技术的疾速倒退，业务对稳固、易用的日志基础设施提出了三大迫切需要：

• 服务保障的须要：全链路追踪是稳定性保障的重要抓手；
• 业务经营的须要：A/B TEST、流动经营剖析、端上用户行为剖析、精准营销，对百MB/S日志的秒级收留能力，TB级日志的秒级搜寻能力强烈诉求；
• 业务平安的须要：辨认攻打源进行资产止损，平安审计与溯源，TB级别日志Adhoc剖析能力。

滴滴Logi日志服务套件在滴滴外部通过7年多的积淀打磨，针对日志采集、日志存储、日志计算、日志检索、日志剖析各个环节，在组件能力上PAAS化建设、在引擎稳定性与扩展性上进行针对性的优化，架构如下：

具备如下劣势：

• 开源自主可控：Logi-Agent、Logi-LogX、Logi-KafkaManager、 Logi-ElasticSearchManager 各PAAS套件打算全开源；
• 引擎稳固牢靠：Agent 40MB/S的单任务采集性能，可控资源的隔离能力；LogX采集工作的实时ETL秒级提早、计算性能的极致优化；滴滴kafka百GB/S的实时流量；滴滴ElasticSearch数十PB的索引存储集群稳定性99.95%；
• 服务经营积淀：数十万日志服务工作端到端全链路保障日志数据的及时性、完整性、可察看性、运维敌对性；资源的弹性调度与分级保障能力的产品化积淀；
• 平台业余易用：分钟级实现日志全链路的端到端自助接入；SQL模板+UDF的个性化荡涤能力反对；百TB级数据秒级的检索体验。

》Logi-Agent介绍

Logi-Agent致力于打造企业级的数据采集平台，负责公司多端、多态数据的采集，架构如下：

滴滴Logi-Agent线上规模10W部署节点，130GB/s的日志采集量，20000+日志采集工作，单任务最大采集能力40MB/S。

》Logi-Kafka介绍

基于用户、研发、运维不同视角的高频场景PAAS化，晋升运维敌对性、引擎可察看性、用户便利性，已开源https://github.com/didi/kafka… 500+收费用户，体验地址： http://117.51.146.109:8080/ ，账号密码：admin/admin

滴滴Kafka集群规模500+，60GB/S的流量，共享多租户大集群场景的历练（CPU利用率峰值30%，磁盘50%），SLA承诺99.95%，引擎基于2.5版本进行了40+个性加强，磁盘过载爱护，分区动静迁徙，业务线程隔离是滴滴特色性能，稳定性的重要抓手！

》Logi-LogX介绍

LogX面向服务以MB/S作为Quota的单位，以SreamingSQL+UDF作为ETL表白载体，反对以Quota为单位的动静扩、缩容能力，以工作为单位，构建通道端到端性能、及时性、完整性指标体系。

滴滴20000+StreamingSQL ETL 工作，单任务最大流量500MB/S，端到端ETL提早90分位小于2Min，具备分钟级动静扩缩容能力。

》Logi-ElasticSearch介绍

业界最业余的ElasticSearch-Manager，基于用户、研发、运维不同视角的高频场景PAAS化，积淀了全托管特色的索引服务。

提供了基于索引模板的容量布局个性，集群磁盘利用率30%→65%，开源筹备中。

自研ElasticSearch-GateWay，提供跨集群拜访，多版本兼容，租户定义与平安，DSL审核与剖析等重大拓展实用个性，撑持了滴滴50亿次/天的数据读取，1200W/S的数据写入，是ES引擎平滑降级2.3.3->6.6.1->7.6.1的基石组件。

滴滴ElasticSearch集群规模3500+，8PB存储，共享多租户大集群（1000+实例，60W Shard，CPU利用率峰值45%，磁盘60% ）场景的历练。

SLA承诺99.95%，引擎基于7.6.1版本进行了150+个性加强，写入性能是社区版本2倍。

FastIndex 50TB索引1小时实现构建，已开源（https://github.com/didi/ES-Fastloader）。

自研DCDR，提供了集群间索引高可用的能力，为线上50+主搜场景提供了异地多活的能力，累积向ES社区奉献 30+PR。

03 滴滴Logi利用案例

滴滴Logi在滴滴外部服务的场景十分丰盛，在故障定位、日志剖析、日志服务、业务经营、平安审计、日志资产、日志大屏等场景都有深度实际。

限于篇幅接下来会围绕着日志服务LogInsight和业务经营魔镜这两个方面具体开展，剖析基于滴滴Logi可能产生的业务价值。

》LogInsight

LogInsight基于滴滴Logi的能力，主打云端日志存储解决方案，针对云化和容器化后面临的日志存储与剖析的诉求，提供了日志冷备、资源管理、日志检索等能力。

• 显著升高日志应用、存储老本 全托管、弹性伸缩，免运维 冷备存储，约0.02元/GB/月，显著升高存储开销，反对1-365天自定义存储工夫；
• 疾速发现、定位问题，进步业务稳固 基于大数据流式计算实现接口性能与谬误日志的统计分析，提供接口调用关系、拓扑关系、上下游流量剖析、服务谬误定位、谬误聚类等性能；安全可靠
• 安全可靠 可用性不低于99.9%，每天可解决上百TB日志量 数据实时采集，分钟级落盘，日志存储不失落满足日志审计需要。

》魔镜

魔镜是业余的场景化用户行为智能剖析平台，提供从数据采集、存储、计算、剖析到经营推广的全流程解决方案。

• 场景化分析模型 用户留存剖析，用户轨迹剖析，用户画像剖析；
• 根底服务能力 外围指标可实时查当日数据，实时计算，秒级产生数据，大盘反对集成报表；
• 数据分析能力 非研发人员可自建指标，反对多类型可视化报表，反对数据导出随心剖析，反对omega数据上报数据；
• 多产品满意度调研 反对多组织多产品构造，反对线上自动化配置，反对抽奖，进步参与度。

基于滴滴Logi日志服务套件，滴滴Logi不仅可能更好的满足日志场景企业广泛的运维可察看性、利用可察看性诉求，也可能更好的满足业务经营、平安审计、日志剖析、日志开掘等不同场景全方位的需要。

滴滴Logi的整体开源打算如下，欢送大家关注。

在生产环节应用开源版的企业用户，能够退出OCE，咱们会额定给予更好的反对，比方专属的技术沙龙、企业一对一的交换机会、专属的答疑群等。OCE申请入口在Obsuite公众号的菜单里，点击【OCE认证】也可间接申请。

喜欢 (0)赏

[搞代码]

分享 (0)