数据资源盘点是指从全局出发对企业的业务系统、大数据平台、数据仓库等数据进行全面摸查,采集元数据、发现企业数据字典、识别数据之间的关系,从业务流程和数据应用的视角出发梳理数据资源的技术属性、业务属性、管理属性,掌握数据资源全貌,形成数据资源清单。
资源盘点中心是研博工业物联网平台体系,基于知识图谱技术,推出的一款集元数据管理、血缘管理、质量评估、分类分级、目录上报的数据资源管理工具,通过资源盘点中心,企业能够清晰的了解数据资源的分布和使用情况,提升数据质量,提升数据安全与合规性,有助于在后续数据产品运营过程中更好地管控和维护数据,帮助企业摸清数据资源家底,理解、识别、管理和使用数据,有效推进数据资源的对内共享应用和对外交易。
数据资源盘点中心重点能力如下:
1、元数据采集
元数据是定义和描述其他数据的数据,贯穿数据资产管理的 全流程,是支撑数据资产化的核心。元数据管理是数据资产管理 的重要基础,是关于元数据的创建、存储、整合与控制等一整套 流程的集合,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。从技术视角、业务视角和管理视角出发,通过定义技术元数据、业务元数据和管理元数据,帮助业务人员和管理人员理解、识别、管理和使用数据。
元数据采集,资源盘点中心可以面向数据源提供元数据自动采集能力,用户可以针对数据汇聚中心中的数据源配置元数据采集器,按计划全量和增量采集数据源元数据。
2、资源目录
资源盘点中心可以从业务流程和数据应用的视角出发梳理数据资源的技术属性、业务属性、管理属性,掌握数据资源全貌,形成数据资源图谱。
业务图谱:从业务的视角分析,企业的业务域以及数据在这些业务域中的流向和关联关系,即数据如何被创建、处理、存储和使用。
管理图谱:从管理的视角分析,企业的数据与组织结构的关联关系,即数据责任体系的完整性,管理包括数据的创建人、责任人、开发人、评审人等。
技术图谱:从信息技术视角,识别和分析业务系统中的数据分布情况,包括数据的存储位置、数据的类型以及数据的存储格式等。
个人图谱:从个人视角,将个人创建、评审、开发、关注的数据表统一添加到个人图谱中进行管理,方便快速定位和查阅。系统还将根据个人账号的浏览记录,推荐展示一些常用表,便于用户快速单击查询。
目录检索:用户可以通过搜索栏,输入表中文名称、英文名称的关键字,中英文代码等相关信息,快速检索相关的数据资源,查看数据资源的详情。
3、数据定义
基础信息:用户可以查看某张数据资源表的浏览次数、读取次数、生命周期、数据数量、产出任务。
数据类型:结合数据建模中心,用户可以查看创建的模型表,字段信息、分区信息等。
变更管理:系统将持续监控该表的变化,用户可以对元数据的变更历史进行查询,对变更前后的版本进行比对等。
存储信息:用户可以查看数据表的存储方式、存储介质、存储位置、存储大小等信息。
访问控制:如果用户需要操作生产表或跨账号查询生产表,需要进行权限申请,用户可以在表详情页中的申请权限入口申请表的相关权限。
用途价值:结合数据开发中心,用户可以查看该数据资源参与了哪些解决方案和业务流程,了解数据的用途价值。
分级要素:用户可以在线查看和维护该数据资源的分级要素,包括数据的领域、 群体、区域、精度、规模、深度、覆盖度、重要性等,其中领域、 群体、区域、重要性通常属于定性描述的分级要素,精度、规模、覆盖度属于定量描述的分级要素,深度通常作为衍生数据的分级要素。
4、血缘关系
数据血缘关系是指各种数据资源之间的依赖关系,即数据来源、加工过程和结果去向之间的数据授权链路关系。通过形成字段级可视化血缘关系图,可以明确数据的来源权属、合法性和相关业务归属和责任人,追溯数据的操作和流向。
数据源头:以血缘关系图的形式,以该表为终点,查看数据来源于哪些表,分析数据的依赖关系。
影响分析:以血缘关系图的形式,以该表挂载为起点,查看数据参与了哪些业务流程,分析数据的加工过程。
加工过程: 以业务流程图的形式,查看该表数据资源参与了哪些业务流程,分析数据的加工过程。
5、分类分级
数据分类是指根据数据的属性或特征,将其按照一定的原则 和方法进行区分和归类,并建立起一定的分类体系和排列顺序, 以便更好地管理和使用数据的过程。数据分级是在数据分类的基 础上,根据数据在经济社会发展中的重要程度,以及一旦遭到泄 露、篡改、损毁或非法使用可能造成的危害程度,一般将数据从 高到低分为核心数据、重要数据、一般数据三个级别。
分类管理:系统以国家标准《数据安全技术 数据分类分级规则》为主,结合行业标准和工作指南等指导文件,内置了丰富的数据分类体系,用户可以根据自身的数据管理和使用需求,结合已有数据分类基础,采取“业务条线-关键业务-业务属性分类”的方式或者按照自定义分类规则,灵活的将数据进行自定义分类。
分级管理:用户可以根据数据遭到泄露、篡改、损毁可能影响的对象和影响程度,制定数据分级要素的标准,系统可以在分级要素识别的基础上,确定数据表及数据产品的数据级别。
6、资源目录上报
用户可以在数据资源盘点的工作基础上,按照行业主管部门的要求以及行业标准规范,将筛选的重要数据目录上报给对应的主管部门。系统不仅支持周期和手工发起上报计划,还能够持续监控重要数据资源目录的元数据变化,当产生更新时,自动及时上报主管部门,确保上报的及时性。