BEMORE 服务
集群高级调优服务
在整个数据驱动的转型之旅中,充分发挥数据的价值至关重要。
BEMORE提供原厂/副厂联动技术支持服务,帮助您将Cloudera部署快速、轻松地以更低的成本和最佳的性能从测试转入生产。
集群性能优化

调优工具安装部署

1、部署参数自动配置调优工具,可以自动根据集群大小、集群主机配置情况自动优化相关参数。
2、部署自动监控性能瓶颈工具,根据系统运行情况自动分析性能瓶颈并能给出解决建议,以图形化展示监控指标及分析结果。

基准性能指标提取统计

定时自动或者手工执行完成对集群的性能测试并给出基准性能指标,包括:
1、HDFS读写,检测磁盘IO指标。
2、Wordcount,检测CPU指标。
3、Sort,检测shuffle阶段的磁盘及网络。
4、可以保存历史指标并对历史指标做图形化对比。

集群性能调优

根据系统情况采用单个或多个调优方式,具体包括:
1、操作系统调优:从操作系统层面对集群进行诊断和调优,并提供详细的系统优化文档。
2、JDK调优:针对Hadoop特性对JDK进行参数优化和调优,提供详细的优化文档。同时要考虑到平台业务不受影响。
3、存储层hdfs调优:根据应用特性,从HDFS性能提升角度进行调优,提供详细优化文档,提升性能不能影响平台的高可靠性。
4、计算层mapreduce调优:根据应用特性,对MapReduce进行配置优化调优,提高性能,提供详细优化文档,不影响平台计算层高可靠性。

调优测试及分析

调优进行基准测试对比,保障调优效果,提供调优总结报告。

集群升级扩容

集群扩容

提供集群扩容方案和详细的扩容步骤及操作说明。

实施在线扩容,并保证扩容成功能进行数据的重新分布。

集群扩容分析报告:分析扩容前后系统在存储能力、处理能力、计算能力方面的提升程度。

Hadoop平台升级及安全加固

提供升级方案和详细升级操作步骤文档。

Hadoop平台升级及安全加固操作,保障升级效果要先在测试环境验证升级步骤,测试环境升级成功后在升级生产环境。如果升级失败实施回退方案。升级过程保障数据不丢失。

平台升级总结出升级报告。

part-00324-3058

集群高级调优服务

      在整个数据驱动的转型之旅中,充分发挥数据的价值至关重要。

BEMORE提供原厂/副厂联动技术支持服务,帮助您将Cloudera部署快速、轻松地以更低的成本和最佳的性能从测试转入生产。


集群性能优化

一、调优工具安装部署

1、部署参数自动配置调优工具,可以自动根据集群大小、集群主机配置情况自动优化相关参数。
2、部署自动监控性能瓶颈工具,根据系统运行情况自动分析性能瓶颈并能给出解决建议,以图形化展示监控指标及分析结果。


二、基准性能指标提取统计

定时自动或者手工执行完成对集群的性能测试并给出基准性能指标,包括:
1、HDFS读写,检测磁盘IO指标。
2、Wordcount,检测CPU指标。
3、Sort,检测shuffle阶段的磁盘及网络。
4、可以保存历史指标并对历史指标做图形化对比。


三、集群性能调优

根据系统情况采用单个或多个调优方式,具体包括:
1、操作系统调优:从操作系统层面对集群进行诊断和调优,并提供详细的系统优化文档。
2、JDK调优:针对Hadoop特性对JDK进行参数优化和调优,提供详细的优化文档。同时要考虑到平台业务不受影响。
3、存储层hdfs调优:根据应用特性,从HDFS性能提升角度进行调优,提供详细优化文档,提升性能不能影响平台的高可靠性。
4、计算层mapreduce调优:根据应用特性,对MapReduce进行配置优化调优,提高性能,提供详细优化文档,不影响平台计算层高可靠性。


四、调优测试及分析

调优进行基准测试对比,保障调优效果,提供调优总结报告。


集群升级扩容

一、集群扩容

1、提供集群扩容方案和详细的扩容步骤及操作说明。

2、实施在线扩容,并保证扩容成功能进行数据的重新分布。
3、集群扩容分析报告:分析扩容前后系统在存储能力、处理能力、计算能力方面的提升程度。


二、Hadoop平台升级及安全加固

1、提供升级方案和详细升级操作步骤文档。
2、Hadoop平台升级及安全加固操作,保障升级效果要先在测试环境验证升级步骤,测试环境升级成功后在升级生产环境。如果升级失败实施回退方案。升级过程保障数据不丢失。
3、平台升级总结出升级报告。