kaiyun网页登陆入口

行业布景

海量数据的冗余，多维千般数据的累积，企业亟需通过数据积蓄，从各式数据源采集数据并将其长入存储在高性能的存储中，进行数据清洗、转换和团聚等操作，进而完成数据的积蓄。为此鼎云科技自研了数据汇集平台，匡助企业对里面冗余海量数据进行鸠合经管，自动化采集、处理和存储，大大提升数据处理效果，匡助企业在生意有打算中获取更全面、准确的业务瞻念察，镌汰数据经管老本。

平台简介数据汇集平台是为惩办数据源种类千般性，结束数据输入输出链路明晰性，体现数据通说念任务直不雅性，保险通说念性能可靠性的时代平台。通过数据汇集平台，对各式类型的数据进行汇集，并将汇集的数据以可视化拖拽的面目，按照特定的法式和经由进行同步，供业务方使用。平台集数据迁徙、订阅及及时同步功能于一体，巧合惩办复杂聚集环境下，丰富的异构数据源之间数据高速褂讪移动的贫窭，变成数据流的闭环。功能架构数据汇集平台支捏多种异构数据源之间的数据同步，充分知足业务场景需要；平台不错通过拖拽、点选等方式直不雅的建立数据的采集经由和数据接口经由任务，方便用户快速结束数据任务建筑，顺应个性化需求。功能架构图如下：

时代架构

鼎云数据汇集平台是一款褂讪高效、具有弹性伸缩特质的数据同步平台。奋发于于提供复杂环境下，丰富的异构数据源之间高速褂讪的数据移动及同步才略，平台提供可视化、拖拽式断绝面板建立，匡助用户快速完成数据集成。数据集成支捏离线和及时两种同步方式，同期提供多种同步模式，包括全量同步、增量同步以及全量+增量搀杂同步等。通过与鼎云大数据平台的其他产物集中使用，不仅巧合结束数据同步，还提供数据清洗转换、数据脱敏、血统图谱等数据治理才略，为用户提供全面的数据集成和经管，那时代架构图如下：

功能先容

01业务经由支捏以树形结构经管业务分组，支捏建立任务调整参数和任务参数。支捏检察任务调整生成的任求实例和测试实例信息。02API任务API节点提供了读取RESTful接口数据的才略。API节点从RESTful地址中获取数据，转换为数据汇集支捏的数据类型，然后传递给指标数据源。03DataX任务DataX节点主若是凭证用户所填写的信息生成jobjson，jobjson有两种生成方式：剧本模式，向导模式，凭证所选源数据和指标数据的映射联系生成jobjson，临了通过DataX器用进行同步数据。04Excel任务EXCEL节点提供了从良友事业器中读取EXCEL文献数据的才略。EXCEL节点支捏从OSS/FTP事业器中获取数据，转换为数据汇集支捏的数据类型，然后传递给指标数据源。05土产货上传任务土产货上传提供了读取EXCEL文献数据的才略。土产货上传支捏径直从土产货EXCEL中获取数据，转换为数据汇集支捏的数据类型，然后传递给指标数据源。06数据源经管支捏常见数据源包括mysql，oracle，doris，redis，kafka等的添加、删除、测试等操作。支捏以树形结构对数据源进行经管。

平台上风

数据流转方便可视提供可视化的业务经由编排器用，可凭证页面参数建立数据汇集任务，支捏DataX、Excel、API和土产货上传类型任务建立，经由透明可视。周期调整提升效果平台支捏立即奉行、调整cron和依赖上游三种调整方式，数据建筑东说念主员可凭证骨子情况接管，极大的节俭资源，也幸免了数据建筑东说念主员重迭建筑。数据同步活泼易用平台支捏多种数据同步方式，包括全量同步、增量同步以及全量+增量搀杂同步等，支捏按照库表同步，自动化数据同步经由，活泼易用。原生集成弹性扩张一站式数据平台，可与数据治理平台和数据建筑平台联动，结束全域数据积蓄、转换清洗功能，易集成扩容。

行业案例

某县区灵敏农业经管样式

对于咱们

鼎云科技是一家正高速发展中的大数据软件产物及事业提供商。围绕大数据的采集、存储、治理、分析、挖掘、诈欺，依托自主研发的中枢时代，已变成包括云存储诡计平台、物联感知平台、诈欺撑捏平台、大数据中台、算法中台的全栈大数据处理软件kaiyun，聚焦政企数字化转型，挖掘数据全生命周期价值。