随着企业发展和信息化建设，初步搭建企业整体IT框架后，业务系统所产生的数据也在逐渐增多，通过系统数据挖掘数据价值，促进业务升级已成为企业信息化发展的必经之路。与传统手动报表汇报不同， 通过构建数据分析平台进行可视化分析与数据展现 ，能够快速获取公司第一手资料并协调相关人员进行工作配合。

(资料图片仅供参考)

无论是现在的互联网企业，还是传统型企业，都需要数据分析。公司需要决定一些方向或者推出某种新型产品，就需要数据分析来将一些凌乱的数据进行整合汇总，从而判断出具体的方向。

整体介绍

DAP数据分析平台是一款专门用于企业大数据平台构建的产品，它可以对从业务系统或者ODS中抽取来的海量数据进行 高效存储、计算、分析并处理 。最终将有价值的数据以可视化的形式进行展现，能够有效帮助企业清晰得分析优劣势，从而调整企业策略，加快企业的信息化发展与整体竞争力。

可以通过不同的产品组合来解决不同公司面临的企业困难，帮助企业范围内建立起了一整套统一、规范的IT架构标准体系，包括数据规范、服务规范、流程规范、界面规范、接口规范等，彻底解决了当前面临的信息孤岛问题，有利于提高效率和降低成本。

1.产品体系

首先介绍数通畅联产品体系如下图：

数通畅联的所有产品都是 通过K8S云平台进行部署搭建产品环境 ，通过不同的产品组合方案来解决企业面临的不同信息化困境，帮助企业完善信息化发展。 DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务，通过执行调度任务调用ESB数据同步流程，实现数据的采集、抽取、转换、传输、调度等操作，基础数据为DAP提供同源并标准的、一致的数据，保障数据分析，分析数据的准确性。

2.产品介绍

DAP数据分析平台将企业的数据进行治理分析，并且通过图形组件呈现出来，充分将企业的数据利用起来，发挥数据的最大价值，为企业决策者提供直观的展示效果，从而获得更大的商业价值。在DAP数据分析平台中预置了丰富的组件，饼状图、条形图、散点图、折线图等满足企业的真实所需。它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终 将有价值的数据以可视化的形式进行展现 ，能够有效地帮助企业清晰地分析优劣势，从而调整企业策略，加快企业的信息化发展与整体竞争力。

数据分析平台功能有：

1. 数据来源 （应用系统定义、数据源头配置、ODS数据定义）。

2. 数仓模型 （业务主题、指标管理、维度配置、事实配置、模型配置）。

3. 数据调度 （规则校验、调度资源、调度任务、日志管理）。

4. 分析模型 （数据集配置、立方体配置、业务类报表、多维度分析）。

5. 展现配置 （导航管理、组件管理、展现主题、装饰管理）。

6. 数据服务 （接收服务、查询服务、统计服务、指标服务、业务服务）。

7. 统计分析 （数据地图、质量分析、影响分析、血缘分析）。

8. 系统管理 （资源配置、组织机构、角色管理、人员管理、功能管理、系统日志）。

3.功能说明

数据调度这个功能主要是提供传输的效率，通过数据血缘把相关数据拉取到数仓、模型、数据集、数据实例中。启动并执行相对应的调度流程可以实现同步，加工不同数据表之间的数据，可以添加流程过程中需要的规则校验，还可以查看调度流程的日志等。

调度资源

调度资源是通过业务系统到ODS、ODS转换到EDW，汇总事实表加工进行配置调度资源，不同同步类型配置是不同的调度资源。

1.功能介绍

调度资源是单表列表功能，是通过ODS选择流程同步、维度表配置和加工事实表后，通过ESB创建同步资源流程后，ESB调用创建调度接口所生成的调度资源，也可以直接到调度资源中新增一个调度资源，然后 配置ESB生成流程服务 。

2.功能使用

首先要在ESB设计器创建对应的调度资源，创建好以后就会在调度资源处生成一条数据如下图：

点击发布后就可以执行该调度进行数据加工，如下图：

3.效果展现

点击执行调度，如下图：

执行后效果如下图：

调度任务

调度任务通过模型生成，也可以进行手动添加，整合了多个调度资源进行统一执行。

1.功能介绍

调度任务 通过选择数据模型来批量选择调度资源 ，因为数据模型天然一个业务分组，然后通过不同方式执行调度，把想要的数据同步到对应的表中，执行的时候通过调度间隔时间来判断这个资源是否最近执行过，如果执行过就不需要执行避免做一些无用功，提供同步效率。

2.功能使用

首先选择一个调度任务，点击启用按钮启用该任务，如下图：

然后就可以点击执行按钮进行调度任务功能使用，如下图：

这里也可以进入明细页面查看该条调度任务的详情，如下图：

页面很明显地显示出了该任务下的所有调度资源。

3.效果展现

执行调度任务前我们先查看最后数据要加工到的表，如下图：

然后执行该任务再次查看，如下图：

规则校验

规则校验主要是根据自己的需要生成不同的校验规则来为调度执行的时候做不同的判断用以达到业务的需求，主要有正则和表达式两种方式。

1.功能介绍

1.正则

正则方式主要是不能为空，必须为整数等。

首先我们要添加一条校验规则，如下图：

点击新增后进入编辑页面添加一条校验规则，如下图：

点击保存后，就会生成一条校验规则，然后进行发布，就可以在有校验需求的地方使用该规则，如下图：

2.表达式

表达式和正则添加方法相同，只是表达式是根据实际需求添加。如下图：

2.功能使用

1.正则

此次介绍为数仓同步时给字段添加规则校验，如下图：

选择双击进入字段编辑页面，为字段添加校验规则，如下图：

点击保存后在执行调度资源或者调度任务的时候该规则校验就会生效。

2.表达式

表达式与正则添加方式相同，只是需要自己根据需要添加不同的表达式，如下图：

添加后选中该表达式，点击编辑规则进行编辑，如下图：

可以根据选择的字段进行手动添加需求。点击保存后该表达式就会在执行调度资源或者调度任务的时候生效。

3.功能展现

然后执行该调度资源，数据有不符合规则的就会生成相应的质量日志，如下图：

日志管理

日志管理主要是集合了同步资源执行的日志，加工资源执行的日志，数据质量校验时的日志。

1.功能介绍

DAP调度日志是调用同步时候进行回写日志，统计失败的任务信息，包括调度资源信息，调度日志是通过ESB调用执行调度资源，同步数据情况的回写日志，可以查看到对应任务是否执行成功还是失败。

2.日志分类

我们的日志共分为4类，分别是同步日志，加工日志，质量日志以及通知日志。

1. 同步日志 ：同步日志是在执行同步资源的时候对执行结果的回显。

2. 加工日志 ：对应的是加工资源日志的回显。

3. 质量日志 ：是对不同字段添加的校验规则的效果回显。

3.效果展现

同步日志：

加工日志：

质量日志：

心得总结

DAP数据分析平台通过数仓建设把业务系统的数据进行统一管理，通过数据服务或者数据可视化展现把这些有效的数据展现出来，帮助企业决策者了解公司动态。

1.个人总结

数据调度功能是把从业务系统到ODS，从ODS到维度表或者事实表、事实表加工处理的数据进行的抽取工作，帮助数仓快速创建， 调度过程也是支持清洗校验的过程 ，帮助数仓数据更加完整准确，使数据分析更加真实有效，帮助企业领导掌握过去企业整体的运营情况，分析现在所存在的隐患，预测未来公司的发展趋势。

2.能力提升

经过本次工作的历练，让我的能力有了很大的提升，使我对于产品有了一定的了解和熟悉，现从以下几个方面进行阐述。

1.产品的使用方面，随着工作的开展，对于产品更加熟练，对产品间如何组合使用理解加深，比如：基于DAP的元数据接口，直接在ESB生成数据 采集同步、清洗转换、加工汇总流程，数据调度 的具体实现步骤等。

2.交互与沟通方面，在本次工作中也认识到了总结与沟通的重要，跟研发人员交互沟通尤为重要，遇到产品问题要选择及时沟通和交互，提高工作的效率。

3.分析与解决方面，对自己分析和解决问题的能力有了明显的提升，自己总结了处理问题的方法，出现问题的时候，首先要检查产品和数据库等开发环境是否无误，然后检查自己的配置是否错误，检查对应流程和服务是否部署，再然后，手动调用接口看是否调通，如果解决不了将问题记录下来，分析是产品还是业务的问题再和同事进行讨论。

3.解决方案

数通畅联的产品特点是可以快速组合，通过不同组合、不同产品的侧重点不同能够组合出对应的解决方案。DAP数据分析平台一般都会与ESB企业数据总线相互结合实现数据获取与加工汇总，如果再与MDM基础数据平台结合就可以形成数据中台解决方案，通过MDM将企业内部的基础数据标准化、规范化、整合化后，由DAP进行数仓建设以及最终的数据分析和可视化展现，ESB通过数据集成完成整个数据中台的主数据同步分发和数仓的数据抽取汇聚。

数据中台方案主要围绕数据的“集存通用治” ，包括对数据的采集清洗、数据的汇聚存储、数据集成连通消除信息孤岛、对数据的使用可视化分析、提供数据服务以及对数据的质量管理，提升数据质量。协助企业打通部门、系统间壁垒，实现信息集成与共享，提高公司整体的战略协同力。

本文由 原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~