设计规划服务流程

一、现状分析及诊断

1、业务场景、业务逻辑梳理：大数据开发及运行环境、大数据日志分析系统、商业运营指标分析、个性化推荐系统以及其他带行业特征的系统；

2、项目需求及痛点分析；现有的存储分析已无法满足增长的数据量，数据来源类似于一个个孤岛，数据价值低，数据的整合与可靠性阻碍企业发展；

3、业务应用层分析；市场与精准营销、客户关系管理、企业运营管理、数据商业化、智能化生产等；

4、数据平台层分析。数据抽取存储、数据规划、大数据计算框架、大数据分析引擎。

二、数据资源盘点

结构化化数据、半结构化数据、非结构化数据来源采集方式（爬虫及其他方式）。

三、数据平台架构/软件选型

1、大数据管理平台选型；

2、虚拟化、容器化方式部署推荐；

3、第三方数据抽取/转换/存储工具；

4、商业BI软件选型。

四、硬件设计选型

1、服务器配置；

2、网络拓扑；

3、机架部署方式。

五、数据标准化体系

统一的数据采集平台。借助第三方ETL工具，或Apache开源产品，采集相关业务结构化数据和一定格式的半结构化数据，存放在Hadoop 数据仓库中；

根据业务需求、业务主体进行数据集市构建；

相关业务半结构化数据直接存放在HDFS分布式文件系统中，一定格式关系的的半结构化数据存放在HBase和kudu等NOSQL数据库中。

六、业务测试集群部署

根据客户要求部署。