跳到主要内容

DataOps博客

欢迎改变的地方

3数据集成的重要趋势

By 张贴在 行业 2021年3月31日

如果你去年这个时候有一个水晶球,你会做什么不同的事情? 在…地区 数据集成在美国,许多已经发生的变化都是已经发生的趋势的加速. 甚至在需要改变的水晶般清晰的证据之前, Gartner关于数据集成的建议一直在发展,引领数据和分析技术专业人士走向未来. 

通过这个博客, 我回顾了Gartner研究中的关键主题, 以及我自己的对话 与客户,以及行业观察来确定数据集成的3大趋势. 整体, 数据和分析领导者被要求提供更多, 比以往任何时候都快, 这对数据工程师的工作产生了真正的影响.

“面对前所未有的市场变化, 数据和分析领导者需要在处理和获取方面不断提高分析的速度和规模,以加速创新,开辟通往后covid -19世界的新道路,”丽塔Sallam, 尊敬的副总裁分析师, 在虚拟Gartner IT Symposium/Xpo™2020上的演讲中分享.

数据集成的3个重要趋势是:

1. 实时数据的现代化数据架构 

相对较新的创新,比如自动化, 机器学习(毫升), 在当今快速发展的世界,预测分析正成为成功的必要条件. 它们需要无缝地、连续地利用数据的能力, 从任何地方, 在任何格式, 并将其交付给数据科学家和业务分析师使用的决策系统. 遗留数据架构,其倾向于内部部署、竖井和预集成(i.e.而不是为这种类型的灵活性和敏捷性而构建的. 

现代数据架构 是基于云计算的, 使用无缝集成的模块化组件, 和旨在解决核心业务问题. 因为数据是当今现代商业的基础, 现代数据架构包括健壮的和可伸缩的 流数据管道解决方案 为业务提供实时、连续的数据. 数据集成 必须支持持续集成, 不断向前发展, 持续的数据以及持续的创新. 

现代数据集成的例子

电子游戏网址大全都经历了艰难的过程才发现,不仅仅是企业需要实时数据. 获得实时的, 在危机时刻,来自政府的可靠信息可以提供一种稳定感,以及做出紧急决定的基础. 但是,如果说企业因遗留系统而闻名,那么政府则因它们而臭名昭著. 

当大流行来袭时, 俄亥俄州需要一个包含88个县和1000个数据源的COVID仪表盘. 幸运的是, 他们的数据平台团队, 与Avaap合作, 已经为各个国家机构提供了现代数据管道平台. 当他们开始“击球”时,他们就是这样 能够在一夜之间将俄亥俄州的仪表盘拉起来

现代化数据架构的更多参考资料

有关现代化数据架构和实时数据的更多信息, 本Gartner报告可能令人感兴趣: 现代数据架构Apache Spark的介绍与评估 (需要登录)

2. DevOps实践的出现和采用:DataOps, AIOps, MLOps, XOps…

还记得每个企业都是软件企业的时候吗? 在那个世界之外 了DevOps, 一种被广泛采用且易于理解的实践,通过利用自动化和监控来实现应用程序设计人员和操作人员之间的敏捷协作,从而加速软件开发. 

在过去的十年里, 每项业务都变成了数据业务. 随着数据“吞噬了世界”,组织意识到他们需要将DevOps实践的敏捷性和灵活性带到数据中. 与软件一样,新诞生的实践 DataOps 面临快速、反复交付质量的挑战. 要做到这一点, 他们面临着处理移动目标的额外挑战:数据源, 目的地, 结构, 以及不断变化的语义. 这些无休无止且常常出乎意料的变化(数据漂移)是数据集成变得如此棘手的原因,也是数据ops被越来越多地采用的主要原因. 

在2020年12月Gartner的一篇博客文章中, 数据ops如何放大数据 & 分析业务价值, Gartner分享道:疫情加速了对数据和分析领导者的需求,他们需要更快地提供数据和分析洞察力, 更高的质量 和弹性 面对不断的变化结果……, 数据和分析领导者越来越多地应用DataOps技术,这些技术提供了更敏捷和协作的方法来构建和管理数据管道.“[粗体我.] 

使用数据ops作为MLOps和AI的基础

组织内的其他团体, 比如数据科学家, 将DevOps原理应用于机器学习 MLOps实践. 强大的DataOps实践可以加快机器学习生命周期和MLOps中一些最关键阶段的操作. 在机器学习, 数据科学家希望在机器学习模型上创建并快速迭代, 这需要一个强大的数据ops基础来提供不断变化的数据的持续交付和持续集成. 

在本质上, 数据集成的传统方式—批量, 在可能的情况下,从竖井转移到不断变化的数据的更具操作性的连续交付. 有关动态DataOps的完美示例,请查看关于如何操作的这个案例研究 壳牌使用DataOps在企业规模提供人工智能. 壳牌 创建了卓越数据操作中心(COE),这样他们的数据科学家就能够对所有数据进行创新和建模. 它们使大规模的自助服务成为可能. 想要进行探索性数据科学和机器学习的数据科学家可以不需要传统的数据集成变革管理工作就可以访问数据.

更多关于DevOps和AI的资源

关于这个主题的更多信息,请查看以下Gartner报告: 评估人工智能项目中的DevOps[需要登录]

3. 云,云,和(多)云 

在这加速的一年里, 即使是最传统的云技术反对者——那些关心合规问题的公司, 隐私, 以及遗留投资——已经意识到使用云技术进行现代化对生存至关重要. Gartner的研究显示,越来越多的组织在新项目或替换现有系统时使用云服务, 将支出从传统IT解决方案转移到云计算. 他们称之为云移. “Gartner的云转移数据显示,与传统的非云服务相比,企业持续偏好公共云服务,“根据 埃德•安德森尊敬的Gartner副总裁分析师. “ 在2019冠状病毒病危机之后,分配给云计算的IT支出比例将进一步加快目前各公司都在寻求提高运营效率.”

当这种“云移”发生时, 组织将需要一个跨遗留系统和多个云环境的数据管理策略. 无论是将数据从遗留系统迁移到云,还是确保云之间的持续数据集成, 数据管道的可移植性将至关重要. 在最近Gartner对公共云用户的调查中, 81%的受访者表示,他们正在与两家或两家以上的云服务提供商合作.*此外,云创新无处不在,新技术不断涌现. 弹性的 数据集成 是必须的. 

如果你需要更多的证据来证明为什么云是必须的, 只需看看2020年10月的“高德纳2020年数据和分析的顶级趋势”中的趋势#6:云是给定的. 根据这篇文章,”到2022年,公共云服务将对90%的数据和分析创新至关重要.”

关于云数据集成和数据管理的更多资源

更多关于云技术在数据集成中的应用,请查看Gartner报告: *理解云数据管理架构:混合云、多云和互联云

今年是“数据工程师年”的原因

企业谈论数字化转型已经有很长时间了. 大多数人至少已经开始了这一进程. 就像去年12月的“圣诞之星”一样, 数据集成的这三个趋势是如此完美地结合在一起,并且加速得如此之快,以至于企业可以选择大胆地进入当下,否则就有被甩在后面的风险. 

当行星对齐-数据集成之星

Fit for purpose solutions are no longer relegated to Gartner’s ‘cool vendors’ list; they’re recognized right alongside traditional enterprises with monolithic all-in-one tools offering everything from ETL to lineage to MDM. 这是因为 DataOps实践 使用现代数据架构来交付连续的, 跨组织的弹性数据是至关重要的. 这是一个 数据工程师年 是有原因的!

回到顶部

电子游戏网址大全使用cookie来改善您对电子游戏网址大全网站的体验. 单击“允许所有人同意”并继续访问电子游戏网址大全的网站. 隐私政策