碧茂科技助力兰州石化大数据云计算中心建设
概述
中国石油兰州石化公司是集炼油、化工、工程建设、检维修、科研开发及矿区服务为一体的大型综合性炼化生产企业，是中国西部重要的炼化生产基地，能源战略地位非常突出。
信息化工作高速发展过程中，不同时期、不同需求、不同管理模式、不同软件产品以及传统的信息系统建设模式等多重原因，造成了“信息孤岛”现象，以此同时，公司时刻面临市场竞争、经营绩效、安全环保等多方面挑战，管理层需要及时准确全面的掌握有价值的数据，以支撑快速精准的生产、经营、管理决策行为， “信息孤岛”成了制约兰州石化公司高质量发展的瓶颈之一。
兰州石化公司信息化集成工作一直在持续推进中，集成分为三个层面，展示和业务已经通过自主研发实现并持续集成中，难度最大的数据集成层面，考虑投资、效果、难度等方面因素，一直在研究、优化、调整建设方案，经过反复研讨采用了大数据的解决方案。
该项目定位是建设兰州石化大数据云计算中心，目标是“统一完善的企业数据模型”、“统一数据源、数据口径”、“统一的数据出入口”和“决策分析中心”。


项目架构 
大数据平台规划设计
平台基于Lambda架构搭建支持多计算模式的大数据系统，整合离线、实时和流计算，可集成Hadoop、Kafka、Sqoop、Spark、HBase、MPP数据库等各类大数据组件。平台使用新一代的MPP并行数据库集群作为大数据处理平台的核心，实现对海量数据的存储、集成和分析等操作，支持在线查询、实时交互分析、异构数据处理、高频历史数据融合探索、可视化数据展现，支撑炼化业务大数据分析应用。使用基于Hadoop的数据处理技术管理非/半结构化大数据，并用事务型数据库支撑智能工厂在线业务系统，为平台提供数据支撑，构建智能工厂大数据分析和处理平台。


项目组织



项目实施
MES系统数据梳理：
对兰州石化公司正在应用的MES系统的数据结构、数据类型和业务流程进行梳理。

开发测试集群搭建：
在兰州石化公司的开发测试环境搭建一套开发测试集群，主要用于平时的开发测试。

生产集群搭建：
在兰州石化公司的生产环境搭建一套生产集群。
主要包括服务器调试、Linux系统安装、集群基础环境配置、CM安装、CDH安装、高可用配置、性能调优和集群运维监控。

MES系统数据采集：
将MES系统的生产数据通过ETL采集到大数据平台上。
包括ETL工作流设计、数据抽取作业开发、数据转换作业开发、数据加载作业开发、检查校验作业开发和调度监控。

数据建模：
MES数据采集到大数据平台后，进行数据建模搭建数据仓库。
主要包括业务建模、领域建模、逻辑建模和物理建模。

数据湖建设：
搭建Lambda架构的数据湖。数据湖建设流程包括数据调研、技术选型、数据接入、应用治理和业务支撑。

决策分析平台搭建：
在数据仓库的基础上，搭建一套面向战略决策层和经营管理层用户的专业数据展示的决策分析平台。
包括平台原型设计和系统开发。


效果 
实现对石化公司在用95套系统数据实施集成，并进行集约化、系统化、精细化的分析，使管理层通过统一平台实现对生产、经营、管理、安全环保等情况的实时管控，以支撑更快、更准确做出相应的决策。
大数据云计算技术的应用，促进兰州公司业务更快的向智能化、精细化、高效化方向发展。推动兰州石化公司内外部数据资源的整合、利用，并形成新的数据资源，作为推动企业进一步发展的新型动力。
保护已有信息化投资，提高硬件、数据的利用率，基础类软件可实现共享复用，并推动信息化项目建设模式转型为云生态模式，减少采购成本，快速响应公司业务管理需求，并对物联网、智能化等技术应用提供基础。