基于大数据的数据集市搭建和数据分析处理
天博体育数据治理平台产品的建设目标是通过提供数据各阶段(包含:数据采集、数据处理、数据管理)的标准性解决方案,来解决体系性的数据治理问题。平台功能主要为:数据集成、数据开发、数据交换、数据资产管理、数据输出以及数据治理等贯穿数据生命周期的模块。
产品通过自身标准化功能,将数据生产环节中各个角色也赋予了治理任务,践行生产者即为治理者。产品参考了互联网平台使用的治理产品能力,拥有庞大的用户使用基础及应用经验。目标用户除企业的大数据开发人员外,还将通过产品设计的简易化、配置化将用户群体扩展出有SQL和数据建模能力的数据策略、数据产品和数据运营。
产品设计的价值为通过产品化数据处理过程中的核心能力,建立和固化数据标准,响应数据治理体系中的内容从而提升数据质量;通过可视化配置化的数据集成/数据处理能力,降低数据加工门槛从而也整体提升数据加工效率。通过对数据的管理能力,提升企业对数据的认识并帮助企业快速识别需要进行治理的问题。
数据可视化分析平台目标是将数据进行易于理解和分析的图形/图表化转换,使数据分析驱动业务发展。其核心能力是可视化交互分析以及数据报告的零代码制作,使没有编程能力的用户能够高效完成数据分析以及可视化的任务,产品还包含数据导入与集成、数据预处理与建模等辅助数据分析和可视化的功能,使产品具备完整功能可做到开箱即用。
平台主要特点:内置符合银行业务的可视化模版,帮助用户快速建立数据报告;平台依托大数据架构、大数据分析引擎,能够做到大量数据的实时处理与分析;可视化、配置化的交互体验,使产品的使用门槛极低,通过扩大了用户群里来提升数据处理效率;最后,产品通过对敏感数据处理、对报告的行列权限控制、操作行为的记录等完善的安全策略,来保护用户的数据安全。
天博体育元数据管理系统主要包含元数据信息管理以及数据字典的管理两大功能模块,通过元数据管理能力对字段进行规范和精细化管理,通过数据字典对数据码值进行规范、公共域的数据值定义规范,以实现对于数据全要素的展示、管控和治理。
其建设意义是通过资产的方式,解释企业数据资产“有什么、在哪里、属于谁”等问题,其中也可通过数据字典能力的提供,解决企业级数据的标准统一等治理问题。数据血缘、字典扫描、多模看板等模块细化功能也能为企业的资产查询和治理工作提高效率和精准度。
目标用户涵盖企业全部有数据使用需求的岗位和角色,通过元数据管理系统来精确了解和掌握自己所需数据的各类情况。
天博体育历史数据查询平台是一款通用化的解决企业大数据量查询需求的系统软件产品。产品主要特点为页面低代码生成、简单易用以及满足数据安全需求,可作为企业各部门统一的历史数据查询平台,大大降低研发成本。
产品整体设计思路是利用大数据体系能力,平台通过链接使用数据集市中的数据并提供数据二次加工及查询页的低代码配置能力来实现平台功能并解决海量数据的查询效率、各业务部门定制化的查询内容所带来的研发成本等问题。