当我们谈论数据仓库问题时,常见的反应之一是“那么你会推荐什么”,所以在这里我将把它们整合到一个新的架构中,我将其称为“基于AI的数据架构”。我将介绍您需要如何思考未来,为什么我们已经知道目标架构,以及为什么这种方法可以极大地改善现有数据人员的数据环境。

这里的考虑是,我们需要一种数据驱动而不是跟随的架构,一种支持而不是对抗数据反转的架构。

基于AI的数据架构——目标

未来数据架构的想法非常简单:

未来的商业优势来自于数据和人工智能,有效的业务领域必须掌控数据和人工智能,这意味着它的目标非常明确:

  1. 反映组织的运营和责任边界

  2. 以确保人工智能决策可信的方式将人工智能嵌入到运营中

  3. 确保企业对数据准确性负责

  4. 通过人工智能和数据实现业务领域之间的协作

  5. 实现与合作伙伴和市场的外部协作

在人工智能对业务至关重要并将改变业务运营方式的世界中,我们需要一种包含这种转变及其含义的方法。这也意味着,如果您不愿意接受这种变化,那么您还没有准备好迎接基于AI的数据架构。

基于AI的数据架构——原则

有效的人工智能是必选项

商业的未来是由人工智能驱动的,没有一个商业领域不受影响,也没有一个成功的商业领袖不接受这一现实。如果人工智能是可选的,那么变化也是可选的,如果你所在的企业认为人工智能是可选的,那么你应该寻求的是领导层的改变。

数据控制是一个操作问题

这意味着该架构必须关注元镜像(数字现实)的控制理念。

合作就是未来

没有一个业务领域,或者实际上没有一个企业能够拥有确保最有效结果所需的全部信息。您需要外部信息,无论是来自其他业务部门、合作伙伴、市场还是现实。这意味着合作是未来的基础。

本地思考,全球行动

该架构必须支持业务的本地操作控制,它不能强迫每个人都有单一的视图,它不能要求一个区域以限制该业务区域的方式受到另一个区域的视角的限制。因此,该本地区域需要对更广泛的业务负责,以提供有关其他区域所需的信息子集的准确业务视图。

历史很重要

该架构的最终原则是历史很重要,历史是支持下一代人工智能的因素,它为您提供未来的基础。如果你对自己的历史没有准确的了解,那么你就没有准确的能力来实现你的未来。

我们并不拥有现实的全部

加倍努力“全球行动”,我们的架构必须处理这样一个事实:外部工作存在而我们无法控制它。这意味着我们的架构必须基于AI的数据架构。

好的,让我们进入基于AI的数据架构本身。

基于AI的数据架构着眼于两个不同的挑战,并将它们合并到一个架构中。第一个挑战是运行速度,第二个挑战是在交易后信息上进行协作。它们与外部世界(市场)交互,但以两种不同的方式进行交互,因此基于AI的数据架构既有操作速度交互、数据驱动业务,也有交易后协作部分。基于AI的数据架构的顶部是操作速度挑战,使用嵌入操作流程中的人工智能来调整和决策。基于AI的数据架构的背后重点是确保业务领域可以在内部和外部进行协作,并且可以正确共享实现协作的数据子集。

在基于AI的数据架构中,数据网格不会消失,它会成为新数据基础设施的后端和工程部分,但我们更加关注特定业务领域内的数据驱动业务,同时数据网格可能是业务范围的,它仅在这些业务上下文中提供信息并从数据驱动业务领域接收信息。

业务在前端

该架构的前端是业务,即当前以应用程序、事务和流程为中心向数据和人工智能驱动的转变。正是在这个领域,我们期望企业能够实际控制,不是数据产品,而是其运营现实。我们并不期望它为它所做的一切生成数据产品,而只是为跨业务协作所需的那些子集生成数据产品。

这个业务重点领域的要点是,当企业依赖人工智能时,它必须控制这些人工智能的决策环境,这意味着操作视图、元镜像必须反映现实,而人工智能的治理则与该准确性相关。

这里的目标是使企业能够控制人工智能对其准确性负责,因此我们正在考虑改变企业文化。这实际上并不是架构中的技术变革,而是支持组织变革所需的架构。

跨越业务方面的是新环境的治理,这是管理人工智能风险的机制,并确保人工智能的运行符合整体业务战略。这包括新设施以及更重要的商业文化和治理变革,以确保成功的业务采用。

协作在后端

在业务范围数据网格中,我们专注于两个核心挑战

  1. 基础要素产业化

  2. 实现围绕数据的协作

为什么这是一个协作?因为从历史上看,我曾经将一些东西描述为数据质量中最大的谎言:

“我们应该从源头上解决这个问题”

但后来因为我们专注于报告,而报告团队对应用程序团队的权力为零,所以—。我们基本上建立了管道来处理这个问题,并因这些问题而受到指责。

在人工智能驱动的未来,企业必须掌握控制权,并且必须切实确保其运营现实是准确的。这意味着我们的数据网格突然不再是一个拥有零权力改变生产的“数据产品负责人”,而是拥有基于KPI的理由来确保其准确性的实际业务领导者。

这意味着我们可以更少地专注于清理垃圾,而是专注于机制和工程的标准化。我们可以专注于创建数据网络基础设施基础,将数据转化为组织的发令枪。我们不仅可以利用它来提供一种可能由GenAI支持的单一方式来摄取、发布、请求和委托数据,还可以提供“万物的历史”的基础来推动数据研发和创新。

在由于文化发生变化而导致业务被迫掌控的世界中,我们的架构可以专注于机制,而不是DQ管道和审查委员会。这并不意味着中央数据团队不重要,而是意味着它们更重要,因为企业现在实际上关心数据。这确实意味着中央团队在治理或执行神话般的单一规范形式视图方面并不那么明显,但您真的希望在失败的信息治理尝试中变得可见吗?或者您想成为魔术师,确保数据是系统中运行的血液,负责保持数据驱动业务的运行,并在需要的时间和地点交付数据以推动业务成果?

基于AI的数据架构提供与市场的协作

下一代架构要做的部分工作是实现业务的外部协作,并使业务能够对市场中的外部因素做出反应。有两种明确的方法可以做到这一点。首先,通过使用协作人工智能,两个组织将在纯人工智能或人工智能辅助流程中进行交互,例如采购;其次是协作,在其生态系统的背景下实现业务的端到端愿景。

当采用以业务为中心的方法时,这是相当明显的,需要一个数据架构来支持与合作伙伴和消费者的运营速度协作,并且需要一种方法来构建完整的端到端图片来支持策略。您需要一个能够以业务方式拥抱和参与市场的架构。

在基于AI的数据架构中,运行速度协作是内部人工智能协作的延伸,除了超出界限工作时围绕安全性的额外挑战。

生态系统协作往往在交易后的意义上发挥作用(比如AppleWatch跟踪锻炼并在完成后向AppleHealth报告),它是协作数据市场的一部分,同样,围绕安全性的新挑战也随之而来。在联邦世界中运作。

有了基于AI的数据架构,将开始迎接新的挑战,您可以将自己的人工智能部署到其他人的基础设施中,处理他们的数据,但与您进行通信。例如,消费品制造商派遣员工与零售商合作,以最大限度地提高销售额并减少库存。这些人工智能是运营业务挑战的一部分,但现在远程部署,从技术上讲,这对我们来说是一个奇妙的新挑战,但它首先需要业务合作伙伴同意应该这样做,并且认为这样做是有价值的正在做。先业务,再协作

基于AI的数据架构—专为人工智能成为商业优势的世界而设计

基于AI的数据架构的原因与技术无关,而是与数据通过人工智能对业务的影响的转变有关。如果企业对在运营中使用人工智能不感兴趣,或者乐于在不准确和不一致的数据上使用人工智能,那么他们还没有准备好接受基于AI的数据架构。基于AI的数据架构适用于已经认识到需要拥有数据的企业,因为该企业的竞争优势及其业务领导者的职业发展与他们如何有效地利用人工智能以及利用人工智能的方式息息相关您必须能够有效地创建准确反映业务现实的决策环境。

基于AI的数据架构需要新的数据文化

这是采用基于AI的数据架构所需的元镜像心态,希望在其数据中反映业务的运营情况,这是一种新的数据文化,其中“数据质量”并不真正存在,因为“数据准确性”才是真正存在的很重要。在这种文化中,企业不再将数据视为报告或电子表格中的内容,而是将其视为业务的生机勃勃的基础。这种文化认为人工智能不仅是一种业务资产,而且实际上是业务团队的一部分。在这种文化中,确保您的团队(尤其是人工智能)对您的业务现实有准确的了解是一个安全问题,是一个业务关键问题,不存在与业务分开的“数据团队”之类的东西。由于质量问题而受到指责,但有高管负责确保其准确性。

在这个世界上,企业的首要任务是控制数据,而不是把垃圾扔到墙上让IT来清理。

基于AI的数据架构让数据工作变得更有趣

这种新文化意味着下游我们面临着一个非常不同的挑战,我们聘请了想要操作准确性的高管,我们不需要花很长时间在会议上争论模式、企业数据模型或交易后数据质量规则。相反,我们可以专注于有趣的事情:让事情发生。这意味着要关注使这一切发生的数据网络基础设施,并将其设计成为一种美丽的工业化商品。这意味着制定让企业对准确性负责的指标和措施,意味着建立协作人工智能的新方法,意味着提供一种机制,通过该机制可以将内部和外部协作交付给数据驱动型企业。

当然感觉比调试DQ管道有趣得多,因为有人在SAP中输入了无效的国家/地区代码。

改变文化,采用架构

当数据文化发生变化时,其业务处于领先地位,这意味着数据准确性成为基础,治理成为标准操作程序的一部分,这将显着简化数据网格的挑战,并允许数据人员专注于围绕数据和人工智能的协作,让人们共同推动新业务优势

如果你不能改变文化,那么架构的改变就不能解决问题,但如果你能做出改变,那么架构就会将这种文化带入业务。