云数据湖集成
通过持续的数据摄入和大规模的ETL来增强您的现代分析能力
你现在就需要数据,而不是以后
现代分析, 数据科学, AI, 机器学习……你的分析师, 数据科学家和商业创新者已经准备好改变世界. 如果你不能 提供的数据 他们需要,更快,有信心,他们会找到绕过你的方法. (他们可能已经这样做了.)
数据湖拥有大量的各种各样的数据类型,并使处理大数据之前 上传到雪花这样的目的地 并可能应用机器学习和人工智能. 如何确保数据湖集成持续可靠地交付数据?
电子游戏厅智能数据管道的优势
灵活的混合和多云架构
根据您的需要,轻松地将您的工作迁移到最佳的数据平台或云基础设施.
什么是数据湖?
数据湖是一种半结构化的存储平台, 结构化, 非结构化, 和二进制数据, 在任何规模, 具体目的是支持分析工作负载的执行. 数据以“原始”格式加载和存储在数据湖中,不需要索引或准备. 这样就可以灵活地执行多种类型的分析—探索性数据科学, 大数据处理, 机器学习, 以及实时分析——来自最全面的数据集, 在一个中央存储库中.
云数据湖集成的基本设计模式
你的云数据湖是进入高级分析的门户. 一旦摄入, 数据可以向许多不同的方向发展,以支持现代分析, 数据科学, AI, 机器学习, 以及其他用例. A 基本数据摄取设计模式 首先从数据源读取数据, 然后通过简单的转换来路由数据,比如屏蔽以保护PII, 并将数据存储在数据湖中.
实现这个基本设计模式的挑战之一是意外, 未经宣布的, 以及数据结构无休止的变化, 语义, 基础设施可能破坏数据流或破坏数据. 这是 数据漂移, 这就是为什么采购的原则, 摄取和转换数据已经开始演变为数据工程, 数据集成的现代方法.
云数据湖集成的智能数据管道
智能数据管道的差异
构建数据管道的典型方法是手工编写代码或使用工具,这些工具会对结果数据管道中的技术实现细节产生重大依赖. 智能数据管道 是否被设计为抽象出这些细节并解耦源和目标,以便您可以关注数据的“什么”并轻松适应新的需求.
管理基础设施的变化
的流式集方法 数据集成与数据工程 使更改基础设施端点成为可能,而无需重新开始. 例如, 如果你的数据湖摄入管道的来源从Oracle数据库到MySQL, 你有三个选择:
- 复制数据管道并更新源以保持两个数据管道都处于活动状态
- 创建管道的新版本, 改变原点, 使用还原选项替换现有管道
- 参数化关键属性并运行同一管道的多个实例
准备开始?
电子游戏网址大全在这里帮助您开始构建管道或看到平台的行动.