线上系统的稳定,不仅需要细心的编程,对各种临界、异常情况的考虑,也包括在系统出现故障的情况下,我们能在第一时间发现并定位,快速解决问题。这里我想借助python解析关键点的线上日志,并将解析结果导入sqlite数据库,通过一些方式获取统计结果(比传统的grep xxx要快速和方便很多),这样在系统beta发布或外部因素影响时,观察若干分钟,对比关键点的日志统计数据就能最快的发现系统是否稳定运行。
分析问题后,觉得可以通过下面几个模块协作来完成我的需求
1)日志记录行数据切分检测:用户提供1条日志样本和数据分隔符,正确取出数据
2)数据库表创建:用户提供表字段名、字段和日志行数据切分后的对应关系
3)日志行解析:1)需要该模块的支持,同时该模块提供对4)模块的支持
4)日志过滤收集:日志行数据解析为sql插入语句
5)sql数据插入:执行insert操作,根据数据量的多少进行优化,本质是减少IO操作
6)数据统计分析:根据表字段分组排序统计
7)异常数据告警:扩展用
注意点:
1)系统输出的日志最好有统一格式,明确的分隔符便于解析;也不要有中文,避免有乱码
分享到:
相关推荐
运检创新--为电网本质安全保驾护航.pdf运检创新--为电网本质安全保驾护航.pdf运检创新--为电网本质安全保驾护航.pdf运检创新--为电网本质安全保驾护航.pdf运检创新--为电网本质安全保驾护航.pdf运检创新--为电网本质...
Python实战:四周实现爬虫系统 适用人群:即将毕业的大学生,工资低工作重的白领,渴望崭露头角的职场新人,零基础学过很多次编程都没能学会的人简介毕业不知如何就业?工作效率低经常挨骂?很多次想学编程都没有...
藏经阁-为“超级星”保驾护航.pdf
为异地就医系统保驾护航-社保.pptx
2022 “稳保计划” 首届云系统稳定性大会PPT合集(10份)。 安全生产实践介绍 ...为春晚红包保驾护航,全栈稳定性实战解读 稳定性保障建设之多行业发展现状及思考 稳定性理论和实践 新零售IT系统稳定性实践
考试我的答卷:新时期法治思维与法治风尚-法治为全面深化改革保驾护航.doc
飞思卡尔i.MX多媒体应用处理器为系统安全保驾护航.pdf
FPGA为您的系统安全保驾护航.pdf
企业级数据平台-为数据资产增值保驾护航.pdf
小爱声学认证-为声联万物保驾护航 金融安全 安全对抗 移动安全 区块链 AI
随着人民生活内容的日益丰富,...经过认真的技术选型和系统测试,铁路客票系统采纳北电的Alteon应用交换机,为其在全国开始实施的客票发售与预订系统 TRS5.0保驾护航,为铁路客运营销跨越式发展提供有力的技术保障。
MR混合现实-[MR混合现实技术信息化教学已成趋势-影创为全息教育建设保驾护航].docx
用高性能变压器油为电力系统保驾护航.pdf
网络安全督查常态化为电网建设保驾护航.docx网络安全督查常态化为电网建设保驾护航.docx网络安全督查常态化为电网建设保驾护航.docx网络安全督查常态化为电网建设保驾护航.docx网络安全督查常态化为电网建设保驾护航...
教育资料
ORACLE数据库权限管理系统为运营商业务支撑系统保驾护航.pdf
预测性维修为铁路运营保驾护航.pdf
金融系统的金融属性在我理解是“正好一次”,即多一次不行,少一次也不行,因此作为一个资金交易系统,以我个人填过的坑来看,面临的挑战有一下几点:比如以一个清结算系统
【操作指南】为您的SCADA和工业控制系统保驾护航zip,【操作指南】为您的SCADA和工业控制系统保驾护航