跳到主要内容

DataOps博客

欢迎改变的地方

数据ops如何为数据湖增加价值

By 张贴在 电子游戏厅新闻 2019年7月29日

对于那些在6月6日加入电子游戏网址大全的人, 你参与了三位业内专家的前瞻性对话. 他们对包括大数据在内的话题充满诗意, DataOps, 治理, 数据科学, 更多的是为了帮助现代数据架构师和分析专业人员更好地理解围绕DataOps的新兴实践和主题.

可以说,电子游戏网址大全本可以和小组讨论一整天. 在讨论过程中,后续问题和主题才刚刚开始发展. 由于时间限制和平台的复杂性,电子游戏网址大全没有机会回答你们所有的问题, 所以电子游戏网址大全写了这个简短的博客来回答你们的问题. 但首先,稍微回顾一下电子游戏网址大全的话题. 什么是DataOps?

现代BI需要在自动化和监控的支持下将数据自由移动到业务的各个角落,以确保持续的正常运行时间和 弹性变化. 数据操作- DevOps实践的应用 现代数据管理 在这方面,融合是有帮助的, 当应用于您的项目时,可以帮助减少与业务目标密切一致的数据分析的周期时间.

数据ops包括设计中考虑的四个关键主题, 部署, 以及连续操作阶段.

  1. 连续的设计 持续设计功能使数据解决方案能够在持续的基础上交付,而不是作为离散的项目事件.
  2. 连续操作 - DataOps鼓励使用整体视图,操作员能够看到所有数据协同工作的动态地图,以满足更高层次业务功能的数据需求.
  3. 连续的治理 -持续治理负责建立信息治理框架, 一个方法, 企业信息管理标准.
  4. 连续的数据 -连续数据负责在维护数据服务的统一中心发布数据, 外部来源和内部生成的信息的服务水平和性能,以及用户或应用程序系统对这些信息的使用.

现在电子游戏网址大全已经给了你一些电子游戏网址大全主题的入门知识,让电子游戏网址大全深入讨论你的问题

用户提交的问题

 

你认为数据ops将以多快的速度在市场上被采用?

在2018年11月的Gartner Hype Cycle中,DataOps已经看到了一项功能的早期吸引力. 虽然仍是一个不断增长的类别, 关注的焦点, 在过去一年中,最佳实践的发展取得了显著进展. 许多公司开始将他们的DataOps团队和流程正规化, 新的角色和标准化的体系结构将进一步推动企业采用DataOps. 今年电子游戏厅将举办有史以来第一次 Dataops峰会 希望将从业者和合作伙伴聚集在一起.

DataOps解决的最大痛点是什么?

数据ops可以提供许多优化并加速各种分析计划的价值,但在确定如何实现和度量数据ops时,您应该考虑实现以下5个关键事项.

  1. 自我服务: 数据生命周期的哪些方面可以自动化? 电子游戏网址大全能给最终用户更多的权力去寻找吗, 理解, 摄取, 争论, 在不牺牲安全和治理的情况下转换数据? 对越来越多的公司来说, DataOps支持跨数据旅程中的所有点进行更好的自助服务.
  2. 操作的可见性: DataOps为您提供了跨系统和数据集的可见性. 对管道、转换以及其他用户对数据的操作的可见性. DataOps帮助您更有效地发现数据,防止治理黑洞.
  3. 规模:随着数据连接的激增, 确保跨数据生态系统的所有组件都可以伸缩以满足更多消费的需求成为了一个猜谜游戏. DataOps提供了一组原则,以确保数据系统可伸缩,以满足当前和未来的需求. DataOps还帮助数据科学和分析团队在更短的时间内交付更多的项目.
  4. 端到端治理: 带着良好的意图实现治理的日子一去不复返了. 一方面是GDPR和CCPA等成本越来越高的法规,另一方面是数据必须通过具有不同程度可见性和治理的多个系统, 用户必须建立持续的数据治理,并在受信任的分析区域和数据动态时实施.
  5. 自动化变更检测和管理: 事情总是在变化:新的数据集和模式被引入, 现有的被改变或以新的和意想不到的方式使用, ML模式漂移, 数据质量水平波动, 所有权和管理职责发生变化. DataOps的目标是检测和管理更改,使事情不会中断. 这需要高度的监控, 复杂的变更检测和自动化的变更处理.
在整个数据生命周期中,可能会出现瓶颈?

虽然每个公司都可能在不同的团队或系统中遇到瓶颈,但主要有三个 电子游戏网址大全通常看到的瓶颈可以通过DataOps实践来缓解. 首先是发现、理解和信任数据的瓶颈. 根据一些分析师的报告,数据用户花60- 80%的钱寻找正确的数据,通常满足于他们能找到的数据,而不是他们需要的数据. 其主要原因是用户如何看待数据(从业务角度)和如何记录数据(含糊不清)之间的差异, 开发者分配给数据的技术名称缺失或误导). 一旦理解了数据,问题就转移到将数据吸收到核心系统中. 这可能表现为无法建立管道来检索数据,或缺乏能力在数据到达之前进行必要的处理. 下一个瓶颈通常是与访问相关的瓶颈. 分析团队不能轻易地访问他们需要的数据,从而导致项目延迟. 这可能有几个原因,包括僵化的政策, 数据安全, 和治理问题, 或者数据以分析师无法使用的格式着陆. 第三是从原始数据中获取价值的瓶颈. 在各个分析团队中,电子游戏网址大全看到对数据的不同需求,通常很难用一种方法解决所有需求.

电子游戏网址大全如何根据给业务带来价值而不是技术堆栈来定义数据操作呢? 你如何定义和衡量它?

数据ops值可以跨两个向量进行度量. 在采用DataOps方法的早期,公司将在头9个月内看到优化和分析暗区的减少. 数据被编目并自动标记为业务术语, 受管制的数据被自动检测和治理, 通过建立新的数据连接,可以应用最佳实践和自动化来直接加速实现业务目标. 在度量方面. 电子游戏网址大全建议定义商业领袖兴趣的衡量标准.  例如, 除了跟踪每月新增的数据源数量和数据流的数量, 衡量他们是如何帮助增加销售的, 改善客户体验, 降低运营成本, 降低企业风险.

电子游戏网址大全需要业务分析师/SME作为DataOps生态系统的一部分吗?

是的, 在做出好的决策时,最大的挑战是需要做出决策或需要答案的人与能够处理数据的人之间的脱节. 自助式分析缩小了这一差距, 但前提是数据被正确地标记为业务术语, 这样分析师就能理解了. 这允许设计时自助服务, 这样分析师就能找到正确的数据, 准备它, 然后分析,然后交给数据工程师进行产品化. 数据专员对于设置数据策略(如访问控制)也很关键, 数据屏蔽, 和数据质量, 以及管理和批准政策违规和对现有数据资产的更改.

如何将验证合并到DataOps过程中?

验证是数据操作的关键部分. Waterline提供了一个基于标记的规则引擎,可以自动将验证规则应用于企业中的所有数据集. 例如, 它可以将数据质量规则与业务术语或标记关联起来,并将其应用到使用该标记标记的任何字段,而不管数据存储在何处的数据源, 数据格式或字段名. 当然, 如果这些字段可以使用Waterline的指纹识别和人工智能驱动的自动标记来自动标记业务术语,这将是最有效的.

谁是大数据的创造者?

电子游戏网址大全是一个技术支持平台的联盟,帮助为大数据项目带来快速和切实的价值. 电子游戏网址大全涵盖了摄入、操作、发现、编目和数据争吵的关键方面. 电子游戏网址大全一起帮助加速数据价值链的移动,同时围绕端到端可见性和治理统一功能. 多了解一下“让大数据工作”的参与者.

电子游戏厅[摄取和操作]:

一夜之间将操作应用程序数据加载到仓库的日子一去不复返了. 决策者需要对来自一系列不同来源的各种不同数据类型进行不同的访问. 企业也需要更低的数据访问延迟,以便更快地做出决策. 因此,对数据ops的需求为数据摄取带来了DevOps规则和实践.

水线数据[查找和目录]:

随着企业组织在更多的平台上存储更多的数据并增加更多的用户, 他们面临的挑战是容易找到的能力, 管理, 并在其数据资产中保护数据.  组织必须能够快速访问受信任的数据,以确保以更高的信心更快地做出更好的决策. Waterline Data通过创建人工智能驱动的数据目录解决了这些问题,实现了自动发现, 分类, 以及在不损害安全性的情况下,以拍字节规模管理数据.

Trifacta[评估和转化]

Trifacta是数据争论市场的领导者. 本质上, Trifacta允许商业用户使用, 最了解数据的人, 准备数据进行直观的分析, 他们已经熟悉的excel般的界面. 这个替换复杂, 过时了流程, 加速time-to-analysis, 导致新模式的发现, 和意想不到的机会.

DataOps峰会

你想从这些伟大的思想家那里学到更多吗? 你可以当场抓住他们 DataOps峰会 9月4日至5日在旧金山. 团队成员会重新聚在一起回答你们的问题!

不要错过,今天就报名吧!

回到顶部

电子游戏网址大全使用cookie来改善您对电子游戏网址大全网站的体验. 单击“允许所有人同意”并继续访问电子游戏网址大全的网站. 隐私政策