成果简介:
1、主要技术内容:随着云计算、物联网、移动互联网的飞速发展,构建在大数据平台上的应用层安全问题正日益变得越来越严峻。但国内外相关安全技术往往面向平台下层,针对系统应用层异常的实时检测与定位是学术界与产业界广泛关注的难点,迄今可实用的成果还不多。如何实时准确地检测并定位应用层异常具有重要意义。 该项目主要运用开源大数据技术、机器学习技术,针对大数据平台中应用层异常实时检测与定位困难问题,研发了离线环境下大数据平台日志异常检测与定位技术、异常规则库构建技术;研发了在线环境下基于概念漂移检测与规则库的异常检测技术、平台运行性能健康状态评估技术、近实时的异常事件检测与分析技术,以及可视化展示技术。该项目构建了具有近实时在线异常检测、异常定位、运行状况分析等功能的新一代异常检测分析系统(RADA)。2、知识产权情况:该项目已取得授权发明专利5件及软件著作权5件:①基于Web会话流的分布式实时异常定位方法(发明2018100921688);②基于最大频繁模式的动态规则库构建方法(发明2018100921669);③基于最大信息系数的大数据平台在线异常检测方法(发明2017106817202);④可动态配置的大数据分析系统及方法(发明201510577285X);⑤异构数据集基于MIC的字段值优先连接方法(发明2016100569447X);⑥大数据平台日志流实时分析系统,著作权2016SR190575;⑦榕基内控运维管理系统[简称:RJ-ICOM]V4.0,著作权2019SR0542754;⑧榕基网络安全威胁感知系统[简称:RJ-NSTP]V2.0,著作权2019SR0547950;⑨星云大数据可信服务管理(TSM)系统,著作权2018SR864620⑽政务云安全大数据系统,著作权2019SR06086323。 主要技术指标:经福建省科技信息所评测中心计算机软件测试实验室评测,该项目产品功能完善,性能稳定,已达到了以下功能指标和性能指标:1)八项功能性指标:①支持多种日志格式数据源;②支持动态配置管理;③支持近实时异常检测;④支持异常定位分析;⑤支持指定时段的日志事件历史视图查询;⑥支持指定时段的日志事件异常视图查询;⑦支持日志异常关联事件的扩展视图展示;⑧支持平台运行状态的系统健康服务质量状态视图等。2)四项性能指标:①异常识别的准确率100%;②异常识别的查全率≥86%;③离线检测分析时间缩短到分钟时间量级;④在线检测分析缩短到秒钟时间量级,使在线检测能达到近实时处理。 4、经济指标、应用推广及效益:该项目已取得显著经济效益,至2020年11月止,近三年累计实现销售收入14,566.58万元,净利润2,379.72万元。 该成果在国内已有一定的市场占有率,已在福建、河南、安徽等多个省推广,应用情况良好,市场前景巨大,将持续为中国各类大数据中心建设提升智能化服务能力。