跳到主要内容

DataOps博客

欢迎改变的地方

电子游戏厅变压器在这里

By 张贴在 电子游戏厅新闻 2019年9月5日

新兴的DataOps实践包括企业目前可能执行的许多活动,包括 摄取、ETL和实时流处理. DataOps的诀窍是协同全局可见性执行这些事情, 中央控制, 以及无与伦比的性能和安全洞察力. 的 电子游戏厅 DataOps平台 为现代公司提供了使用强大的工具构建DataOps实践的基础能力, 轻量级的转换, 物联网连接, 和数据安全. 

直到最近, 用户必须探索平台之外的解决方案,以解决最常见的数据处理工作负载之一:Extract, 变换, 和加载(ETL). 原因有两方面. 第一个, 市场上的ETL工具已经饱和,在一个大多数数据都是结构化和静态的世界里,这些工具主要满足了电子游戏网址大全客户的需求. 其次, 公司如何看待他们的管理和处理流数据之间的界限. 批处理过程仍然是相当独立的.

快进到2019年. 丰富的数据, 有无数种形状和大小, 对于最终消费者来说,对于工作负载是批处理还是流处理的考虑也变得不那么重要了. 与此同时, 电子游戏网址大全已经看到了一种特定的内存访问引擎的爆炸性增长,它正在为生态系统设定速度.

Apache Spark和Modern ETL

Apache Spark已经崛起为现代分析的实际数据处理引擎. 其本地语言界面, 无与伦比的性能, 简单的可伸缩性打破了现代ETL的模式. 它提供了一个强大的引擎,可以为一些最理想的工作负载提供动力. 然而, Apache Spark是一种工具,它经常被交付给需要大量技能投资的成熟数据团队. 开发人员在大量的数据集上执行Spark任务,但往往对他们的Spark任务的运行情况知之甚少. 如果出现问题,他们将被迫筛选神秘的日志文件,以找到罪魁祸首. 

越来越多的公司渴望将数据工程民主化,简化Apache Spark的操作. 在Scala, Java, 和Python为有经验的程序员提供了熟悉的接口, 如果没有经验丰富的数据工程师的介入,ETL开发人员和精明的数据专业人员无法利用Spark. 即使对成熟的Spark开发者来说也是如此, 将可重复管道的代码拼接在一起的繁琐本质成为一种低价值活动.

数据操作平台的新成员

为了解决这些问题,完成了执行层的 电子游戏厅 DataOps平台 电子游戏网址大全非常自豪地宣布,可以立即获得 电子游戏厅变压器,一个强大的工具,创造高度仪器化 用于现代ETL的Apache Spark应用程序.

电子游戏厅产品平台

电子游戏厅变压器 是一个关键的新能力 DataOps平台. 现在, 你不必担心, 或者甚至知道管道是否是批处理的, microbatch, 或流. 您以同样的方式设计管道,并且从执行中的底层可变性中抽象出来. If 电子游戏厅数据收集器 是关于异构连接的, 那么变换er就是ETL的“T”,它可以对更大的数据集进行批处理.

电子游戏厅变压器

电子游戏厅变压器 执行引擎是否在 电子游戏厅 DataOps平台 允许用户创建 在Spark上执行的数据处理管道. 使用一个简单的拖放UI,用户可以创建执行ETL的管道, 流处理和机器学习操作. 它允许所有人,包括数据分析人员, 数据科学家或传统ETL开发人员, 而不仅仅是精明的Spark开发者, 充分利用Apache Spark的强大功能,而不需要深入了解该平台的技术.

变换er管道进行了大量的仪器化,并提供了对Spark应用程序执行的深度可见性. 用户可以准确地看到每个操作需要多长时间, 每个阶段传输了多少数据, 并在问题发生时查看主动的和上下文相关的错误消息. 这些特性进一步将用户从Spark集群的内部抽象出来,并允许他们解决核心业务问题.

使用Spark的变压器数据管道管道可以读取和写入批处理或流处理源和目标,并根据自己的选择混合和匹配. 用户无需批量生产, 流媒体, λ, 设计管道时的Kappa架构决策, 相反,它们专注于处理连续数据(Data as, 何时何地他们需要).

了解更多

电子游戏网址大全相信, 电子游戏厅变压器 和你以前见过的产品有什么不同吗. 但不要相信电子游戏网址大全,自己多看看. 了解更多有关 电子游戏厅变压器 访问电子游戏网址大全的 网站, 参加网络研讨会, 下载二进制文件 今天.

回到顶部

电子游戏网址大全使用cookie来改善您对电子游戏网址大全网站的体验. 单击“允许所有人同意”并继续访问电子游戏网址大全的网站. 隐私政策