跳到主要内容

DataOps博客

欢迎改变的地方

为什么数据工程是数据的未来

By 张贴在 行业 2021年11月3日

我在为最近的会议做准备 DataOps峰会,我再次意识到数据工程是数据的未来. 更重要的是,那些依赖数据ops的数据工程师将引领潮流. 在这篇博客中,我将和大家分享为什么我如此坚信这一点.

现代数据分析的演变

在企业中,数据的目的是为业务决策提供信息. 当然,电子游戏网址大全通过分析来做到这一点. 借助云计算的力量, 曾经只允许对过去的事务进行报告的商业智能(BI)已经发展为能够以业务的速度处理大量数据的诊断和描述性分析规程. 除了, 机器学习和人工智能使预测性和说明性分析能够准确预测销售, 理解和培养他们的最高价值客户, 和更多的. 换句话说,它可以帮助企业创造收入,保持竞争力. 

难怪451的最新报告《电子游戏网址大全》 & 2021年机器学习使用案例,的调查发现,95%的受访企业认为人工智能在其数字化转型努力中很重要. 对我来说,现实与理想不符也不足为奇.

IBM发现 在接受调查的5000多家公司中,有21%已经部署了人工智能在美国,许多人工智能机器人从未投入生产,多达70%的公司报告了这一情况 人工智能投资没有价值 

但操作化可以扭转这些统计数据.

为什么操作化问题

为了证明为什么操作化很重要, 让电子游戏网址大全从所有行动的始祖开始, DevOps. DevOps对很多人来说意味着很多东西:敏捷, 沟通, 协作, 对齐, 可靠性, 打破竖井. 这些都是操作化的巨大好处. 

如果没有devops风格的操作化,ML模型通常是在竖井中创建的. 创建模型的数据科学团队与部署模型的IT团队或面临实际挑战的业务团队之间可能会出现脱节. 由于无法持续测试和部署迭代,您的数据科学团队可能在没有足够的业务输入的情况下致力于完善某些东西. 如果在投入生产时出现了问题? 好吧, 如果你没有被操作化, 当你重新开始时,你会离线几周或几个月.

MLOps操作这个规程,并确保您的模型将随着变更的发生而演进, 不用你停下来, 返工并重新开始. 

可靠性和敏捷性是操作化的好处, 自动化和监控支撑着运作化,这是XOps的本质. 自动化和监控克服了人们知道什么、何时知道、如何知道之间的巨大不协调, 提供克服企业间不和谐的和谐, 发展, 和操作. 

为什么MLOps和XOps需要数据ops

而运作你的模型是一个开始, 添加DataOps是提高机器学习和MLOps效率的力量倍增器. 任何行动纪律都是如此. 你会发现,从CloudOps到SecOps到DevOps,它们都需要数据ops. 

为了理解为什么电子游戏网址大全可以再看看ML/AI. 算法需要处理的数据越多,结果就越准确. 但AI值, 毫升价值, 只有当它所操作的数据在整个ML生命周期中有效时,分析值才有意义. 您需要样本数据进行探索, 测试和训练数据用于实验, 并对生产数据进行评估.  传统的数据集成方法可能能够实现数据质量程序,以确保只有最干净的数据才能进入模型——但这些管道是脆弱的.  当今动态数据体系结构的规模和复杂性使得这种方法非常危险. 因此,当公司实施ML时, 它们越来越依赖智能数据管道和数据ops, 数据可观察性和管道弹性内置到管道本身. 

所有行动部门都是如此因为他们都需要智能数据管道. 除了建设,智能数据管道必须持续运行. 因此,电子游戏网址大全得出了推动XOps成功的三个原则.

数据ops如何推动XOps的成功

每个Ops规程都需要连续的数据,而交付连续的数据则需要DataOps. 允许连续交付数据的三个关键原则是连续设计, 连续操作, 连续的数据可观测性. 

连续的设计 意味着您的数据团队可以很容易地开始, 扩展, 并在数据管道上进行持续的协作. 他们可以减少10倍的时间浪费和50倍的停机时间. 它是意图驱动的,因此数据工程师可以专注于他们正在做什么,而不是如何做. 连续设计是组件化的,因此管道的片段可以尽可能地重用. 最后,每个设计模式都有一个单一的体验. 

NatWest举办了一次会议 突出连续设计的进步, 合并可重复摄取的模式以创建联邦数据工程文化.

连续操作 让您的数据团队轻松处理破损, 转向新的云平台并响应变化, 无论是故障还是业务请求. 它允许自动部署, 管道以任意组合和匹配的方式编排在本地设施和云基础设施和平台中. 最重要的是, 这些数据管道尽可能地在管道内解耦, 在管道, 从起源, 目的地, 和外部流程. 解耦越多,就越容易改变. 

DNB的会议强调 他们是如何与20个工程师一起完善连续操作的艺术的, 使200多名自助式数据科学家和分析师能够实时进行欺诈检测. 

连续数据可观测性 帮助数据团队理解数据的内容,并遵守治理和遵从性策略. 它通过一个始终运行的任务控制面板消除了盲点. 理解数据是无价的,对数字转型和推动创新至关重要. 

英国电信共享 他们如何在规模上实践连续的数据可观测性, 监控超过10,000条管道,具有内部和多个云的单一窗格视图. 

数据的未来:手段而不是目的

数据的未来是一个所有特征都将涌现的时代. 我的意思是,你可以通过监控人们使用数据的突发模式来获得对数据的宏观理解, 即使它在进化. 业务价值的“终点”不是自顶向下过程的结果, 一些权威专家聚集在一起理解数据的含义,并告诉你如何先验地实现数据管道. 而不是, 它是自组织模式的结果,所有这些自治微观参与者之间的合作. 这种合作的关键是遵守同一套规则和原则. 这就是数据操作的“方法”. 

最后我想说的是:如果你是一个数据消费者,要求操作化. 如果您是数据提供商或数据工程师,请交付操作化. 这是数据成为商业命脉的唯一途径. 

回到顶部

电子游戏网址大全使用cookie来改善您对电子游戏网址大全网站的体验. 单击“允许所有人同意”并继续访问电子游戏网址大全的网站. 隐私政策