跳到主要内容

我应该用英语教学还是英语教学? 要看情况而定.

何时何地转换数据应该由您来决定,而不是由您的平台来决定

到ETL或ELT? 对于许多数据工程师来说,这是一个问题.

一方面, 这种思路, 新的英语教学是灵活的, 很容易上手, 而且非常适合按需数据. 它是刚性、脆性ETL的弹性替代品. 

然而,英语教学的闪光点并不都是金子. 

任其发展, 它忽略了重要的细节——使得数据源难以跟踪或监控, 潜在地与法规遵循需求相冲突. 大量非结构化、未转换的数据将数据湖变成了不可消费的数据沼泽.

虽然 英语教学的兴起 是否授权非技术人员使用他们自己的工具,它也鼓励了新的数据竖井. 随着这些工具的使用在整个组织中激增, 它也看不见, track, 也不能通过日益复杂和断开连接的基础设施跟踪数据. 

但如果你不必在两者之间做出选择呢? 如果, 而不是将资源提交给必要的工具, 人, 以及给定技术的过程, 你可以吃下众所周知的数据蛋糕?

电子游戏厅等现代数据平台 已经把“如果”变成了现实. 但在电子游戏网址大全深入了解如何对ETL和ELT都说“是”之前, 有必要对每种技术进行快速回顾.

ETL是什么?

ETL表示提取,转换,加载. 这是一种常用的技术 从多个来源提取和清理数据,以便它们可以用于分析,并纳入一个集中的数据库. 

在现代云兴起之前, ETL是必要的,因为存储和计算能力有限且成本高昂. ETL使组织能够使用更少的稀缺技术资源. 但是,尽管你可以节省带宽和存储空间,但你不得不在这些方面毫无理由地花钱 ETL开发人员. 

根本的问题是完全缺乏概括性. 使用ETL意味着需要基于每个数据源和目标设计和构建数据管道. 这意味着您必须拥有具有正确技能的ETL开发人员 建立和维护数据管道即使是在技术发生变化和发展的时候. 

什么是英语教学?

ELT表示提取、加载、变换. 它是一种数据摄取技术,将数据从多个数据源提取到数据湖或云对象存储中. 从那里,可以根据需要将数据转换为各种业务用途.

英语教学的用途是 可变性、速度和数据量 爆炸. 它是由越来越实惠的云基础设施实现的. 

此外,与ETL不同,ELT需要较少的工程师来操作. 通过它的分离、提取和转化, 英语教学使分析师, 而不是工程师, 用SQL处理转换. 这个想法是英语教学成功的关键,因为它允许大型组织中的更多部门自助访问数据. 

英语教学之所以不需要那么多的劳动密集型,很大一部分原因是它允许更广泛的泛化. 

工程师可以在流行数据源的预先提取和加载解决方案的基础上进行构建. 他们还可以利用外部提供者的专业知识来处理更复杂的数据源. 

相比之下,ETL缺乏泛化, ELT使得数据工程师可以外包和自动化,而不是手工编写代码管道,无论如何都需要重写. 

但, 正如引言中提到的, 这种从以开发人员为中心的ETL到更面向自助服务的ELT的转变, 它带来了新的挑战:一种未知的复杂性, 不透明的 数据基础设施.

从英语教学范式到英语教学范式的转换

关于英语教学如何扰乱英语教学已经有很多文章. 如果你想更深入地了解细节,这里有 关于这个话题的不错的Reddit帖子. 其基本思想是英语教学更适合现代企业的需要. 

要强调这一点,首先ETL存在的主要原因是目标系统没有准备的计算或存储能力, 处理和转换数据. 但随着 云数据平台的兴起在美国,情况不再是这样了. 和, 除了某些特定的应用, 没有令人信服的理由构建所需的定制软件来转换提取的数据. 

因此,对许多(但不是所有)组织来说,英语教学正准备让英语教学过时.

可以肯定的是,ETL仍然有它的用途. 除此之外, ETL利用Apache Spark的处理能力 能否处理大量数据并使其可用于下游应用程序. 

幸福意味着不必选择

适用于工程师和分析师, 幸福意味着不必选择何时何地进行数据转换.  

而ETL和ELT工具供应商将支持一种范式相对于另一种的优点, 事实是你不必选择. 相反,你可以采用这样的方法:

  1. 从多个源提取数据
  2. 执行预处理转换,i.e. 屏蔽私有数据
  3. 将数据加载到存储库中
  4. 根据业务需求对数据进行必要的转换
数据工程师的数据集成

电子游戏厅是 从零开始建起来 以这种双重范式为核心. 拥有数十个预加载转换处理器, 您可以拖放图形用户界面, 其中很多是最耗时的, 复杂的工程过程被抽象了出来. 

与此同时, 电子游戏厅允许开发人员用他们喜欢的语言编写自己的自定义处理器. 因此,虽然它提供了ELT的易用性和灵活性,但它不会阻止您为更专门的用例扩展管道. 

通过提供一个接口,你可以 查看和管理ETL或ELT的所有数据管道, 电子游戏厅完全释放了现代数据架构的力量.

简单地说,当你问:“ETL或ELT?电子游戏厅说可以. 

回到顶部

电子游戏网址大全使用cookie来改善您对电子游戏网址大全网站的体验. 单击“允许所有人同意”并继续访问电子游戏网址大全的网站. 隐私政策