认识达内从这里开始

认真做教育专心促就业

南宁达内Java培训数据治理中的数据集成类型分享

发布：南宁达内it培训
来源：互联网
时间：2023-02-27 10:00

数据治理技术随着互联网的不断发展而被越来越多的程序员掌握，今天我们就通过案例分析来简单了解一下，数据治理中的数据集成类型分享。

南宁达内Java培训数据治理中的数据集成类型分享

1、点对点数据集成

点多点集成是早出现的应用集成模式，采用点对点的方式开发接口程序，把需要进行信息交换的系统一对一地集成起来，从而实现整合应用的目标。

点对点的连接方式在连接对象比较少的时候，确实是一种简单和高效的连接方式，具有开发周期短、技术难度低的优势。

点对点的集成架构不能集中管理和监控接口服务，仅支持一对一的数据交换，如果交换协议不一致，开发则非常困难。即，如果沟通的语言、文字、格式、方法等有差异，则每一个连接方都要同时支持和维护多种连接方式。

2、总线式数据集成

总线式数据集成是通过在中间件上定义和执行集成规则，其拓扑结构不再是点对点集成形成的无规则网状，而主要是中心辐射型的(Hub型)星型结构或总线结构。

总线结构通过与点对点集成架构相比，采用总线架构可以显著减少编写的专用集成代码量，提升了集成接口的可管理性。不同连接对象如果连接方式有差异，可以通过总线完全屏蔽掉，做到对连接对象透明，无需各个连接对象关心。通过总线结构，把原来复杂的网状结构变成简单的星形结构，极大提高了硬件的可靠性和可用性。

3、离线批量数据集成

在数据仓库、数据湖、数据资产管理等项目中，ETL都是核心的内容。ETL通过ETL作业流(任务)从一个或多个数据源中抽取数据，然后将其复制到数据仓库。抽取类型有全量抽取、增量抽取、准实时抽取、文件提取等方式。针对不同的数据提取场景设计不同的数据抽取类型。在数据抽取过程中，需要将不符合规则的数据过滤掉，并按照一定的业务规则或数据颗粒度转换成数据仓库可用的数据，这个过程就是数据的清洗和转换。后，就是调用数据库的服务将数据装载至数据库中。

4、流式数据集成

流式数据集成也叫流式数据实时数据处理，通常是采用Flume、Kafka等流式数据处理工具对NoSQL数据库进行实时监控和复制，然后根据业务场景做对应的处理(例如去重、去噪、中间计算等)，之后再写入到对应的数据存储中。

这个过程类似传统的ETL，但它是流式的处理方式，而非定时的批处理Job，NoSQL数据库采集工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

5、网络数据集成

网络数据集成也叫网络数据采集，指通过网络爬虫或网站公开API等方式从网站上获取数据信息的过程。

网页爬虫，即一种按照一定的规则，自动地抓取互联网信息的程序或者脚本，一般分为通用网络爬虫和聚焦网络爬虫两种。网页爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请加danei456学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。

< 上一篇：南宁达内计算机培训Java高并发编程需要掌握哪些知识

下一篇：南宁达内电脑培训传统数据治理常见问题都有哪些 >