帮助DataOps和DevOps团队突破障碍李雅微

2022-10-10

帮助DataOps和DevOps团队突破障碍

任何希望真正优化其大数据堆栈的组织都知道它有与之对抗的敌人，给DataOps和DevOps团队带来了阻碍。它可以像爬山一样; 传说中的黄金城市的正常运行时间和最高效率总是超越另一块岩石，围绕另一块巨石。

这是一个艰难的领域，特别是当IT团队和更广泛的业务有关于如何花时间的其他相互矛盾的想法时然而，对于那些最喜欢什么比克服那些商业，技术或机会投入其中的障碍更好的人来说，这是一个极好的挑战。

对于DevOps和DataOps团队来说，操作大数据并确保模型和服务仍然在生产中，某些块比其他块更大。以下是团队如何用决心而不是恐惧来看待这些障碍。

让我们先把它弄清楚，因为当业务谈论分析和大数据时，头号问题就是数量问题。它是大数据的V之一，也是我们称之为“大数据”的部分原因。

量大

数据量可能是一个挑战。扩展giga，tera和petabytes需要一些“锡”来存储它。每个人都知道数字社会正在生成大量数据，而且数据交易和记录，物联网的数量日增加，以及越来越大的数字化和每年都要连接如此众多新设备类别的“芯片与一切”的心态。即使那句话的单词量也很高。

因此，随着可用数据量的不断增加，企业将继续利用这一资源来创造新的业务价值。这一趋势推动了大量新的应用程序，包括来自ETL，AI，物联网和ML的字母汤，针对许多商业驱动因素。

这些应用程序需要一个应用程序性能管理解决方案，以满足在新数据平台上部署的强大的企业生产要求。

然后，当数据量开始向技术边界推进时，系统会开始吱吱作响或倒塌。这些通常是关系数据库管理系统或统计或可视化软件等解决方案。许多这些例子都在努力管理真正的大数据。

数据应用程序不存在于底层大数据堆栈中。无休止地寻找更多存储服务器空间，重新配置群集以及确保数据库优化对于DevOps和DataOps团队来说绝非易事。

应用程序与许多不同的系统连接在一起。堆栈的执行方式对下游消费者有直接影响。管理应用程序非常复杂，需要端到端的解决方案，尤其是满足SLA协议。

将这些筒仓缝合在一起

阻碍强大的大数据堆栈和良好的分析过程的障碍和障碍更加深入，几乎不可避免地包含了大多数组织在部门和团队中构建为数据池的孤岛。

每个人都保护他们的信息和狭隘的优化流程，以便业务增长混合资产的复杂数据空间。每个孤岛都是一个障碍，是对单一版本事实的阻碍，也是一个包含整个组织的强大分析过程。正如在客户服务方面所说的那样，“当有一个喉咙窒息时，它会更容易”。

事实上，合并数据源和编目数据确实有助于打击另一个障碍。

数据管道只能与其最薄弱的环节一样好。应用程序中出现无法解释的运行时问题，因为分析管道的某个部分已更改，移动，重新配置，缺乏计算资源等。

故障排除是时间密集且复杂的，配置变量很难解析。当瞄准完美时，聪明的DataOps人知道'完美是善的敌人'。

自动机，你的朋友

自动化是破坏盟友的一大数据块。DataOps团队有一些大鱼要炒，只有很多双手可以用来做饭。事实上，优秀的大数据架构师和云专家确实存在技能短缺问题。

招聘人员摩根麦金利发布了一份IT薪资指南，显示需求飙升，新兴技术和专业领域的人才短缺。缺乏人才确实推动了行业工资。

云架构师可以在他们的技术敏锐度上拥有合适的行业经验，可以获得10万到13万英镑。

鉴于缺乏可自由使用的人才，保护您所拥有的团队并让他们通过自动化他们的角色部分来使他们的技能达到最佳效果是有意义的，这使他们能够专注于他们更高的技能。

根据Morgan McKinley的说法，如果你想知道，最热门的数据技术仍然是数据科学中的SQL，R，Python，Hadoop，以及Kafka，Scala，Spark在数据工程中以Java为基础。

通过一些强大的应用程序性能管理解决方案，为现有的DataOps和分析故障排除人才提供帮助，可以帮助他们轻松破坏堵塞，更轻松地排除故障并优化大数据堆栈的各个方面。

优化流程以获得更好，更快的业务成果不仅有意义 - 但鉴于DataOps团队在当前技能短缺方面的谈判能力，明智的做法是让他们高兴并让他们享受工作，而不是调试，整天追逐自己的尾巴。

看过的网友还看了