大数据技术生态体系中的各类技术构件本身没有可自省的安全机制，构件间使用的RPC协议也没有安全机制，大数据平台的安全性面临着巨大挑战，如何高效、快速地检测大数据平台中的应用异常对提高大数据平台的安全性具有重要意义。本书在介绍相关研究工作及相关基础内容之后，主要针对大数据平台的应用层日志数据，研究了平台异常的检测与分析问题，构建了大数据平台异常的离线检测分析的方法体系及实时检测的机制。研究了基于数据流二重概念漂移检测的增量学习、分布式日志的**频繁序列模式挖掘算法、基于**频繁模式的动态规则库构建算法、基于Web会话流的分布式实时异常定位算法、基于**信息系数的在线异常检测算法、基于聚类分析的离线异常检测算法、基于相邻请求的动态时间阈值会话识别算法、基于会话特征相似性模糊聚类的SFAD异常检测算法、基于贝叶斯粒子群的异常检测算法、平台异常时的推测式任务调度策略、基于实时负载的推测式任务调度算法。分析了大数据平台异常检测分析（RADA）系统在实现时所采用的大数据技术与组件技术选型，针对RADA系统进行了深入的结构化分析，介绍了基于融合架构的RADA系统概要设计，研究了RADA系统的详细设计与实现方法，完整地总结了大数据平台异常的实时检测技术与分析RADA系统的关键技术。本书可为产业界与学术界相关人员提供应用研发的帮助，可供计算机专业、软件工程专业的相关工程技术人员、研究人员学习、参考。
内容简介
前言
第1章 绪论
1.1 大数据平台异常检测分析研究的背景与意义
1.2 大数据平台异常检测分析技术的国内外相关研究进展
1.3 本书的主要贡献
1.4 本书的组织结构
1.5 本章小结
第2章 大数据平台异常检测分析的相关基础
2.1 引言
2.2 日志
2.3 日志预处理
2.4 异常检测
2.5 入侵检测Snort系统
2.6 Web用户行为模式挖掘
2.7 本章小结
第3章 基于数据流二重概念漂移检测的增量学习
3.1 引言
3.2 二重概念漂移检测机制
3.3 基于数据属性的二重概念漂移检测机制
3.4 基于分类性能的二重概念漂移检测机制
3.5 基于增量SVM与二重检测的概念漂移数据流分类模型TDD-ISVM
3.6 TDD-ISVM算法的时间复杂度分析
3.7 实验设计与结果分析
3.8 本章小结
第4章 分布式日志的最大频繁序列模式挖掘算法
4.1 引言
4.2 序列模式挖掘相关工作
4.3 动机与背景
4.4 分布式日志最大频繁序列模式挖掘算法描述
4.5 实验设计与结果分析
4.6 本章小结
第5章 基于最大频繁模式的动态规则库构建算法
5.1 引言
5.2 动态Web用户访问序列数据库DWASD的构建
5.3 基于DWASD的分布式PrefixSpan算法
5.4 实验设计与结果分析
5.5 本章小结
第6章 基于Web会话流的分布式实时异常定位算法
6.1 引言
6.2 基于Web会话流的实时异常定位框架
6.3 基于混合生物基因序列比对的异常定位AL_HBGSA算法
6.4 实验设计与结果分析
6.5 本章小结
第7章 基于最大信息系数的在线异常检测算法
7.1 引言
7.2 相关基础
7.3 基于最大信息系数的在线异常检测算法介绍
7.4 算法的时间复杂度分析
7.5 实验设计与结果分析
7.6 本章小结
第8章 基于聚类分析的离线异常检测算法
8.1 引言
8.2 基本聚类算法
8.3 基于改进聚类分析的离线异常检测算法
8.4 算法的时间复杂度分析
8.5 实验设计与结果分析
8.6 本章小结
第9章 基于相邻请求的动态时间阈值会话识别算法
9.1 引言
9.2 相关基础
9.3 DAITS算法
9.4 实验设计与结果分析
9.5 本章小结
第10章 基于会话特征相似性模糊聚类的SFAD异常检测算法
10.1 引言
10.2 基本工作
10.3 会话特征相似性模糊聚类的异常检测算法
10.4 实验设计与结果分析
10.5 本章小结
第11章 基于贝叶斯粒子群的异常检测算法
11.1 引言
11.2 基于朴素贝叶斯分类的异常检测模型ADM-NBC
11.3 基于ADM-NBC的WNB-PSO算法
11.4 实验设计与结果分析
11.5 本章小结
第12章 平台异常时的推测式任务调度策略
12.1 引言
12.2 多用户作业调度器
12.3 推测执行调度算法
12.4 本章小结
第13章 基于实时负载的推测式任务调度算法
13.1 引言
13.2 推测式任务调度算法改进
13.3 节点负载分级模型
13.4 基于实时负载的推测式任务调度算法流程
13.5 实验设计与结果分析
13.6 本章小结
第14章 大数据Lambda架构与微服务架构技术选型
14.1 引言
14.2 大数据技术Lambda架构
14.3 微服务架构的有关组件技术选型
14.4 本章小结
第15章 大数据平台异常检测分析系统的结构化分析
15.1 引言
15.2 问题与场景描述
15.3 初步需求分析
15.4 系统数据流
15.5 功能需求
15.6 非功能需求
15.7 本章小结
第16章 基于融合架构的RADA系统概要设计
16.1 引言
16.2 RADA系统逻辑架构设计
16.3 运行部署环境
16.4 日志预处理子系统概要设计
16.5 监控告警子系统概要设计
16.6 数据库设计
16.7 本章小结
第17章 RADA系统的详细设计与实现方法
17.1 引言
17.2 RADA系统架构的实现机制
17.3 日志预处理的详细设计
17.4 监控告警模块的详细设计
17.5 核心用例的实现
17.6 本章小结
第18章 总结与展望
18.1 总结
18.2 展望
附录A
参考文献
