BEMORE 服务
集群设计规划服务
在整个数据驱动的转型之旅中,充分发挥数据的价值至关重要。
BEMORE提供原厂/副厂联动技术支持服务,帮助您将Cloudera部署快速、轻松地以更低的成本和最佳的性能从测试转入生产。
part-00347-1350
大数据集群设计规划服务
      在整个数据驱动的转型之旅中,充分发挥数据的价值至关重要。BEMORE提供原厂/副厂联动技术支持服务,帮助您将Cloudera部署快速、轻松地以更低的成本和最佳的性能从测试转入生产。

现状分析及诊断

1、业务场景、业务逻辑梳理:大数据开发及运行环境、大数据日志分析系统、商业运营指标分析、个性化推荐系统以及其他带行业特征的系统;

2、项目需求及痛点分析;现有的存储分析已无法满足增长的数据量,数据来源类似于一个个孤岛,数据价值低,数据的整合与可靠性阻碍企业发展;

3、业务应用层分析;市场与精准营销、客户关系管理、企业运营管理、数据商业化、智能化生产等;

4、数据平台层分析。数据抽取存储、数据规划、大数据计算框架、大数据分析引擎。

数据资源盘点

结构化化数据、半结构化数据、非结构化数据来源采集方式(爬虫及其他方式)。

数据平台架构/软件选型

1、大数据管理平台选型;

2、虚拟化、容器化方式部署推荐;

3、第三方数据抽取/转换/存储工具;

4、商业BI软件选型。

硬件设计选型

1、服务器配置;

2、网络拓扑;

3、机架部署方式。

数据标准化体系

统一的数据采集平台。借助第三方ETL工具,或Apache开源产品,采集相关业务结构化数据和一定格式的半结构化数据,存放在Hadoop 数据仓库中;

根据业务需求、业务主体进行数据集市构建;

相关业务半结构化数据直接存放在HDFS分布式文件系统中,一定格式关系的的半结构化数据存放在HBase和kudu等NOSQL数据库中。

业务测试集群部署

根据客户要求部署。


一、现状分析及诊断

1、业务场景、业务逻辑梳理:大数据开发及运行环境、大数据日志分析系统、商业运营指标分析、个性化推荐系统以及其他带行业特征的系统;

2、项目需求及痛点分析;现有的存储分析已无法满足增长的数据量,数据来源类似于一个个孤岛,数据价值低,数据的整合与可靠性阻碍企业发展;

3、业务应用层分析;市场与精准营销、客户关系管理、企业运营管理、数据商业化、智能化生产等;

4、数据平台层分析。数据抽取存储、数据规划、大数据计算框架、大数据分析引擎。


二、数据资源盘点

结构化化数据、半结构化数据、非结构化数据来源采集方式(爬虫及其他方式)。


三、数据平台架构/软件选型

1、大数据管理平台选型;

2、虚拟化、容器化方式部署推荐;

3、第三方数据抽取/转换/存储工具;

4、商业BI软件选型。


四、硬件设计选型

1、服务器配置;

2、网络拓扑;

3、机架部署方式。


五、数据标准化体系

统一的数据采集平台。借助第三方ETL工具,或Apache开源产品,采集相关业务结构化数据和一定格式的半结构化数据,存放在Hadoop 数据仓库中;

根据业务需求、业务主体进行数据集市构建;

相关业务半结构化数据直接存放在HDFS分布式文件系统中,一定格式关系的的半结构化数据存放在HBase和kudu等NOSQL数据库中。


六、业务测试集群部署

根据客户要求部署。