人类正从信息技术( it )时代走向数据技术( dt )时代。 这场大数据革命强烈冲击了政府、银行、教育、企业等多个体系,成为推动政治企业变革创新的重要力量。
大数据的发掘价值当然是不错的,但是这朵花的背后隐藏着一个不容忽视的问题。 人人都想“尝尝”,但许多组织连主要的数据都没有管理,急于建设大规模的数据平台是不可取的。 但是,只是决定数据管理,实现数据共享,消除数据孤岛,不能满足数据服务的需求,不能实现基于数据分析的决策信息化。 数据管理现状
随着大数据时代的到来,数据资源几何增长,但由于数据缺乏统一的管理规范、数据完整性差、数据格式不同、数据错误等问题,无法共享和利用大量宝贵的数据,无法获得更大的价值。 究其原因,主要是由于以下原因
1、数据多头管理缺乏专门监督和控制数据管理的组织。 信息系统的建设和管理功能分散在各部门,数据管理作用分散,权责不明确。 组织机构各部门关注数据的角度不同,一个组织没有从全球视角管理数据,无法建立统一的数据管理规程、标准等,无法实行相应的数据管理监督措施。 组织机构的数据评价体系尚未建立,无法保证数据管理标准和规章的有效执行。
2、多系统分散建设,不规范统一的数据标准和数据模型。 各业务部门构建了各自的信息系统,各部门从各自的立场生产、使用、管理数据,将数据分散到不同的部门和信息系统,发生统一的数据规划、可靠的数据源和数据标准不足、数据不规范、不一致、冗馀、不能共享等问题,组织各部门对数据的理解
3、缺少统一的主数据,核心系统的主要信息没有存储在独立的系统中,或者没有通过统一的业务管理流程在系统之间维护。 如果主数据管理不足,则主数据无法在整个业务中保持一致性、完整性和可控性。
4 .缺乏统一的数据质量管理流程体系。 目前,数据质量管理主要是各组织部门分开进行的跨部门业务的数据质量沟通机制不完善,跨部门业务缺乏明确的数据质量管理规范和标准,存在数据分析随机性强、业务需求不明确的现象, 影响数据质量的数据自动采集尚未全面实现,处理过程中存在人为干预问题,业务部门缺乏数据质量管理人员,缺乏知识和经验,缺乏监督方法全面等问题,缺乏完整的数据质量管理过程和系统支持。
5 .数据的全生命周期管理不完善。 数据的生成、使用、维护和备份尚未完善过时的丢弃数据的生命周期管理规范和流程,无法确定过期和无效的数据标识条件,未结构化的数据没有不属于数据生命周期管理范围的信息化工具 为什么要管理数据
目前,许多组织单位也开始着手一些局部数据管理工作。 例如,建立数据标准,建立统一数据规范的共享数据中心,引进数据交换中间件,整合数据,消除“数据孤岛”等。 这些方法在一定程度上可以缓解数据质量问题,但是从总体角度来看,采取全面措施不能达到数据管理的目的。
什么是数据管理?
数据管理是将数据作为组织资产展开的一系列具体工作,是数据的整个生命周期管理。
数据治理系统是指从组织结构、管理制度、运行规范、IT应用技术、绩效评价支持等多个层次,全面整理、建设、持续改善组织数据模型、数据结构、数据质量、数据安全、数据生命周期等各个方面的系统。
数据作为各组织单位的宝贵资源,如应开采的矿山,数据管理是具体的开采方法和手段。 来自有效的数据管理
一)完善的数据管理系统。 通过统一的数据管理组织、流程、标准和技术支持规划设计,实现数据管理流程的高效运行和持续优化,建立长期的数据管理机制
二)统一的数据源。 通过集中管理重要共享数据,确保重要共享数据的完整性并构建统一数据视图
3 )标准化、标准化的数据。 数据管理实现现有数据标准化,数据申请、数据审核等业务流程控制新数据标准化,彻底改善数据不完整、冗馀、错误等管理问题
4 )不断提高的生产效率。 数据标准化使企业内部信息共享、业务融合更加顺利,业务能够满足数据的实时性、准确性需求,从而提高生产效率
5 )继续降低数据管理、维护和整合的成本。 共享数据共享是一个不同的业务系统,为了保持数据完整性,需要大量的管理维护成本,但无法从根本上解决数据管理问题。 数据管理是统一管理这一部分的数据,然后通过接口将有一致权威的数据自动分发给各业务系统,大大节约了各自的维护成本,保证了数据的质量
6 )充分体现了数据的价值。 数据管理系统地保证了数据的质量,使数据的共享和充分应用成为可能。 企业可以通过大量的数据分析,改善管理水平,提高人才培养质量。 数据管理系统
数据管理系统包括数据质量核心领域和数据质量保障机制两个方面。
具体两者的内容和相互关系图:可以参照数据管理系统
数据管理系统
目前,许多组织单位主要通过共享数据中心来解决数据孤岛问题,通过统一信息门户来解决数据展示问题,远远不够深层次的数据技术规范、数据质量保障、主要数据管理、数据安全管理和提供数据服务的深度和广度。
和治数据治理平台集成了元数据管理、数据标准管理、数据质量管理、数据集成管理、主数据管理、数据交换管理、数据资产管理、数据安全管理、数据生命周期管理等9个产品模块,通过数据治理过程共有9个产品模块 我个人认为,现在是一个相对全面的数据治理解决方案。
为了更好地提高数据质量、扩大数据应用范围和提高数据价值,必须开始全面的数据管理,将数据管理作为IT管理乃至整体战略的重要组成部分,从组织结构、管理制度、操作规范、IT应用技术、业绩评价支持等多个维度来进行数据模型、数据结构、 作为全面整理、建设数据质量、数据安全、数据生命周期等各方面,持续改善数据管理的数据管理系统。 之后,逐章继续介绍如何进行数据管理建设。