华青融天渤海银行应用日志管理分析系统建设项目

华青融天基于大数据架构的EZAccur应用日志分析管理平台,满足银行对于应用系统智能监控中的单一维度短板,通过日志数据维度,发现故障,定位问题。

华青融天基于大数据架构的EZAccur应用日志分析管理平台,满足银行对于应用系统智能监控中的单一维度短板,通过日志数据维度,发现故障,定位问题。

同时满足银行行业对于数据监管需求,通过统一的大数据平台,提供统一的日志查询平台,收紧项目运维人员获取日志数据权限,避免人为的数据泄露风险,做到零风险、可管控。

完全可视化的交互平台,通过对日志数据的分析,创建符合企业内容监控及运维的更多多告警规则,监控大屏,分析报表。

一:方案介绍

华青融天根据用户安全实践需要,利用大数据分析和安全情报等最新技术,快速构建企业级的日志管理分析和处置平台。在海量日志数据中发现业务运营模型和规律,自动识别用户行为异常,实现交易风险控制,从而进行商业智能分析和业务预测。

EZAccur目标是:通过对广泛的数据源进行深层次的智能分析,对各类攻击行为、网络威胁产生深刻的洞察力,从而做出准确的反击或防御,帮助用户实现行为可视、业务分析预测、实时异常检测及风险管控等。

二:方案创新点

华青融天EZAccur是部署在网络出口处和用户内网的软件系统,可实时收集各类信息安全相关的日志信息和网络流量,利用大数据技术进行数据清洗、集中存储和快速分析,基于规则关联分析安全事件,并通过机器学习识别异常行为,准确有效地评估安全风险,主动发现系统所面临的内、外部攻击及违规行为并实时告警。

在实际运用中,与同类产品相比有以下创新点:

创新点一:智能日志分析

采用机器学习的方式解析日志智能正规化解析,无需人工的日志解析。

创新点二:图形化和多元条件的告警规则编写

满足图形化和复杂的规则编写需求。

创新点三:高效的日志查询

支持类似google的快速查询功能,同时满足全文模糊检索及精确查询需求。

创新点四:完全复原的日志上下文查询

满足运维人员零学习成本的使用习惯迁移。

创新点五:基于日志特征,机器学习完成精确的应用系统智能监控、性能分析

三:技术介绍

1.系统内部体系架构

平台采用B/S架构设计,为普通应用系统。

其内部架构设计如上图,主要包括了几个模块:数据采集功能、数据流式处理模块、数据存储模块、数据分析模块、数据展示模式。

1)数据采集:负责各类型的日志采集(主动采集方式、被动接受方式)。

2)数据流式处理:负责大量日志数据的结构化处理,以及资源相互协调。

3)数据存储:对数据进行分布式存储、日志归档。

4)日志分析:提供海量数据的分布式搜索引擎,为用户提供准实时的搜索服务。

5)数据可视化:提供最简洁日志呈现的交互方式,如:仪表盘、报表。

2. 技术介绍

通过建设该项目,可有效打破日志数据之间的竖井,提高日志运维的效率:

1)实时采集,并集中存储分散在各服务器上的应用和交易日志,可进行长期保存,避免出现日志流失。

2)通过关键字检索的方式,快速查询,聚焦到某笔出现故障的业务交易上,并可通过界面的关联跳转操作,把从A日志搜索的特征,带入到B日志中进行关联查询。

3)通过关键字和频次的告警规则,实现基于日志的交易故障实时告警,对现有基础架构监控加交易流量监控的监控体系提供有益的补充。

4)通过所见即所得的dashboard编辑,实现可自定义的统计图表展示。

5)通过角色和权限的划分,确保数据访问性,保证各系统管理员只能看到自己系统相关的数据内容。

6)界面操作简便,不仅可以提供给运维团队使用,也可提供给科技开发人员使用。

3. 解决问题

满足客户繁杂的运维中生成的大量日志数据,无法有效集中管理和便捷查询的基本需求;同时根据数据内容和关联特征来触发及时预警和数据趋势分析的高级分析。

4. 技术优势

1)采用先进大数据架构;

2)支持分析海量异构数据;

3)图形界面定义框架采用最先进的插件平台技术;

4)支持数据存储层面和标准数据接口层面的第三方接口对接;

5)EZAccur平台成熟稳定、性能高效,具备冗余、集群、负载均衡架构;

6)满足技术延展性需求,支持与其他机器数据进融合。

四:产品特点

特点1:多源数据聚合的日志分析管理平台

通过采集各类型设备日志和网络流量,实时监控网络异常,利用日志检索、关联分析和实时展现全方位帮助用户对运维数据进行存储和实时利用。

特点2:智能正规化及数据解析,减少大量人为繁冗工作

具有智能日志解析功能,自动解析日志内容,匹配最佳实践;减少人为干预和误解析。

特点3:多维关联分析和预警

通过机器学习、特征关联分析来实现对日志内容分析和预警;内置上百种设备和系统日志解析规则和知识库。

特点4:日志信息内容细颗粒度可视

用户可通过完全自由的google mapping的方式对日志内容进行检索,丰富的可视化能力,通过对日志信息内容多元维度的可视化,使企业具有对日志信息和内容运维和分析使用能力。

五:应用场景及效果

1.统一的日志存储,项目运维人员第一时间定位日志;

2.实时分析日志数据,多维度分析问题的报告;

3.多维度的监控系统告警渠道,形成立体式告警机制;

4.统一的日志出口,权限管制统一归结到运维人员手中,做到数据信息的零泄露;

5.关联复杂的系统业务,快速定位故障源系统;

6.大量潜在风险信息分析,做到根因分析、故障预测

THEEND

最新评论

更多
暂无评论