1. 网站首页
  2. 社区
  3. 论坛
  4. 博客

基于异常检测模型的MapReduce性能优化

资料大小: 0.77 MB 所需积分: 1 下载次数: 用户评论: 0条评论,查看 上传日期: 2018-01-03 上 传 者: 程林他上传的所有资料

资料介绍

标签:MapReduce(32)检测模型(8)
  针对“落伍者”的选择问题,提出利用故障诊断领域内通常使用的异常检测模型来选择“落伍者”的方法。首先,利用异常检测算法来发现集群中的“慢节点”;然后改进MapReduce任务分配算法和推测执行算法,不再给“慢节点”分配任务并将“慢节点”中的任务分配至有空闲任务槽的正常节点中。在改进的推测执行算法中,因相同网段内的节点通常物理邻近,可提高数据传输速度,首次将“慢节点”中的任务分配至同网段的正常节点中,以便数据传输。实例验证结果表明,使用异常检测算法后可迅速检测出异常节点,且与Hadoop-LATE算法相比,处理相同任务量可缩短集群17%的任务处理时间,说明所提算法在集群整体性能优化中表现优异。 基于异常检测模型的MapReduce性能优化

用户评论

查看全部 条评论
发表评论请先 , 还没有账号?免费注册

发表评论

用户评论
技术交流、我要发言! 发表评论可获取积分! 请遵守相关规定。
上传电子资料
鸿运国际手机欢迎你