跳转到主要内容

对于企业人工智能项目,证据在试点中。以下是四位企业IT领导者如何为成功做好准备。

在弗吉尼亚州亚历山大市的美国专利和商标局,人工智能(AI)项目正在加快专利分类过程,帮助检测欺诈行为,并扩大审查员对类似专利的搜索范围,使他们能够在相同的时间内搜索更多的文件。每个项目都以试点项目开始。USPTO首席信息官Jamie Holcombe表示:“概念验证(PoC)是我们用来了解新技术、测试业务价值假设、降低项目交付风险并告知全面生产实施决策的关键方法。”。他说,一旦飞行员证明了这一点,下一步就是确定它是否可以扩展。从那里开始,它是关于实际规模,然后是全面生产。

印度电子商务供应商Flipkart在部署项目之前遵循了类似的流程,该项目允许对使用11种不同语言的客户进行数百万项的文本和视觉搜索。现在,它正在测试使用深度学习构建模型的会话机器人,该模型包括用户意图检测、语言翻译、语音到文本和文本到语音功能。Flipkart和USPTO正在迅速将计算机视觉、自然语言处理、机器学习(ML)和其他人工智能技术的应用扩展到业务的其他领域。

但尽管AI和ML令人兴奋,但许多最初的试点和PoC项目都未能实现全面生产。成功的项目需要成为战略计划的一部分,需要获得高管的支持,需要获得正确的数据,需要有合适的团队,需要有正确的技术和业务指标和里程碑,需要经历多次迭代,并且快速失败。Flipkart工程副总裁甘纳特·克里希南表示:“这个过程可能需要一两年的时间才能达到高质量。这就是你需要的耐心。”。

为成功做好准备

企业正在迅速开展成功的人工智能试点项目,将其投入生产,并取得成果。“我们已经看到人工智能项目进入主流,”Forrester的AI.ML和数据科学分析师Rowan Curran表示。“57%的企业正在实施或扩展其人工智能项目,70%至75%的企业从这些项目中看到了明显的价值。”此外,根据安永最近的一项调查,53%的首席信息官和IT领导人表示,人工智能所适用的数据和分析将是未来两年的首要投资领域。

但许多试点项目在开始之前注定会失败,原因有几个,首先是缺乏自上而下的支持。USPTO的Holcombe表示:“你需要一位高管冠军,你必须有合适的资金。”。

IT高管表示,从组织的中间或自下而上启动项目会减少成功的机会。最成功的项目发生在首席信息官获得高管支持并承诺为项目提供资金,并将人工智能融入组织的整体数字化转型战略时。

Flipkart的Krishnan表示,设定明确的预期也是关键。“你不应该期望你会部署这个东西,它会从根本上改变业务。这是一个漫长的过程,需要时间。”

PoC也可以是组织内部能力建设的一种练习。这是礼来公司采取的方法。该制药公司信息和数字解决方案副总裁兼信息官蒂姆·科尔曼(Tim Coleman)表示:“通过PoC,我们实验并学习技术和项目交付的规模。”。该团队正在将自然语言处理功能应用于业务领域的自然语言发现、生成和翻译,从临床和科学内容创作到产品开发、高级搜索和一般管理功能。

但安永(EY)全球人工智能咨询主管丹·迪亚西奥(Dan Diasio)警告说,不要将这些能力建设活动与需要产生广泛变革价值的试点项目混为一谈。“你想建立你的能力,让它能够做到这一点,但当你需要在未来与颠覆者竞争时产生对投资者有意义的影响时,你就必须采取自上而下的方法。”

这就是大西洋健康系统(Atlantic Health System)处理AI和ML项目的方式。这家医疗保健提供商在图像评估和预授权自动化方面取得了成功的试点,以帮助放射科医生,预授权自动化接受成像订单,并将其通过几个流程步骤进行调度。高级副总裁兼首席信息官Sunil Dadlani表示:“人工智能应该是数字化转型的一部分,而不是孤立的举措。”。科尔曼说:“我们有一个正式的治理结构和投资计划,来决定如何进行人工智能和人工智能。”在礼来,项目提案在推进之前应该通过三个标准:在ROI方面提供商业价值,成功的概率可接受,结果必须与商业战略和优先事项相一致。例如,Mosaic PV是该公司第一个专注于药物不良反应报告的人工智能项目之一,其主要驱动力是“提高生产力,降低处理不良事件的成本,同时保持高标准的质量和合规性”,他说。

问题是什么?

成功的试点从定义业务问题开始。全球专业服务公司简柏特(Genpact)的首席数字策略师桑杰·斯里瓦斯塔瓦(Sanjay Srivastava)表示:“不要在寻找问题时得到答案。他说:“专注于以问题而不是答案开始的商业成果的项目通常效果很好。”。

然后决定人工智能是否是最佳答案。克里希南说:“这个项目是否符合这样一个标准,即它足够复杂,值得做?”。“如果你能用一种简单的基于规则的方法做到这一点,那就去做吧。但是当你有几十万甚至数百万条规则时,使用基于软件的方法是不可行的。”

你有正确的指标和数据吗?

回到USPTO,人工智能项目需要两组指标:模型执行方式方面的技术指标,以及量化人工智能项目商业价值的指标。

然后,大西洋健康系统通过为一小部分业务实施具有明确业务KPI的试点来确保成功。例如,它的影像评估系统最初在神经内科进行了一次小型试点部署,并迅速扩展到心脏病和其他领域。在八周内,该团队创建了一个成功的神经学试点,展示了结果,并获得了心脏病及其所有其他服务线的认可。

与USPTO一样,Flipkart首先关注技术模型指标,然后运行A/B测试,以了解其对业务的影响。目前,该团队正在开发和测试一种人工智能辅助的对话机器人。他们从“可回答性”或机器人回答问题的能力这一指标开始。他们现在正在进行A/B测试,以确定这是否会对业务产生可衡量的影响。

Dadlani表示,人工智能项目严重依赖大数据,你需要正确的速度、数量和种类。“如果你的数据质量不好,你就看不到预期的结果。”

简柏特公司的斯里瓦斯塔瓦同意:“数据摄取、协调、工程和治理是构建人工智能系统的90%的工作。如果你专注于10%而放弃90%,你从一开始就死了。所以建立数据基础。”

您还需要能够在A/B测试之间提供连续反馈,以实时获取数据,从而可以调整模型。但您的组织可能无法快速、自动地提供数据。例如,如果你正在研究一个预测模型,而团队没有自动捕获客户购买的信息,那么你就不能关闭这个循环。在全面部署后继续反馈循环也很重要,因为客户的偏好会随着时间的推移而改变。如果你的模型没有考虑到这一点,你就不会得到你所希望的结果,即所谓的“模型漂移”

它会扩展吗?

虽然初步的预期可能是一名飞行员将能够全面展开,但证据在飞行员身上。那么,您是否有合适的资源从试点扩展到全面部署?EY的Diasio表示:“要实现规模化,您可能需要精简代码、引入新技术、将您的AI或ML推向边缘,而不是只有一个数据存储库,需要雇佣新的团队,并建立数据标签工厂。”。“需要一整套工程技能。”

执行实验

Flipkart为其飞行员利用了云和相关的MLOps功能。克里希南说:“要开始,飞行员需要大量的工程支持,必须频繁迭代并快速失败,为此,你需要大型云服务提供商提供的MLOps基础设施。”。

他补充道:“如果你在初次试航时把针移动了3%,你就做得很好。”。不要指望马上就能看到收益。一个复杂的飞行员很难在三个月内看到影响。部署,找到差距,再次部署,并继续递增。

一路上的失败并不一定意味着飞行员的结束。USPTO的增强分类系统最初失败了。霍尔科姆说:“我们从一个没有正确规划的数据集开始。”。但团队能够重新调整并继续进行试点,直到系统的性能明显优于手动流程。他说:“如果你失败了,不要只是放弃。弄清楚你失败的原因。”。

最终评估

这些首席信息官、IT高管和顾问使用了多种方法来评估他们的试点项目。在大西洋卫生系统,一旦初步试验完成,就应该评估结果,决定是否延长试验、继续生产或减少损失。达达尼说:“飞行员必须提供所感知的成功衡量标准。”。“只有当我们看到一个有希望的结果时,我们才会说,'扩大规模需要什么,需要多少时间,需要什么时间来实现价值,需要对技术基础设施资源进行什么投资,以及我们将如何实施它。”

礼来的科尔曼表示,飞行员失败的原因有几个:人工智能技能不足,没有足够的标签数据,项目愿景或价值主张不清晰,缺乏敏捷、快速失败的心态,以及缺乏高管支持和组织变革管理来推动业务采用。

确保你报告的是对底线至关重要的指标。例如,Diasio表示,如果定价算法预计可节省5000万美元,那么迄今为止实现的与预期的潜力之间可能存在差距。他说:“当你谈论价值巨大的项目时,飞行员往往缺乏产生那么多价值的可信度,所以要尽可能努力追踪实现的价值。”。

现在也是重新评估试点是否会扩大规模的时候。简柏特公司的斯里瓦斯塔瓦说:“许多PoC在技术上非常成功,但在经济上却不成功。”。其他考虑因素包括规模需要多长时间,以及需要什么资源。

但当你从长远看时,这张照片可能会改变。科尔曼表示:“即使在短期内无法实现规模的情况下,交付成功概率较高的较小项目范围仍可能带来短期业务价值,同时技术能力和技能成熟,可以解决规模障碍。”。

还有基础设施。确保在缩放时检查所有假设,包括配置、网络带宽、存储和计算。Krishnan表示:“你需要大量的工程支持来实现规模化,而这正是基于云的MLOps基础设施可以提供帮助的地方。”。

最后,确保您可以将AI集成到上游和下游工作流中。例如,如果您没有将其集成到上游供应链系统中,以确保备件在您需要的时间和地点都在,那么预测故障是没有帮助的。同样,该信息应用于下游调整维护计划。

慢点开始,快速失败,耐心

AI/ML试点成功的关键在于初始规划。在前进之前,获得高层管理人员的支持和财务支持。霍尔科姆说:“你必须有封面,并确保从一开始就有所有利益相关者参与。”。

Dadlani表示,AI/ML试点项目应作为整体数字化转型战略的一部分,并具有引人注目的商业用例。从期望中取得成果需要耐心。创建定义成功的技术和业务影响指标,并在确保拥有适当资源时了解自己的能力。组建正确的团队,做好快速失败的准备。因此,团队中拥有正确的技能和领域专业知识组合是人工智能试点项目成功的关键。“你需要一个跨职能的团队,即使是在试点阶段,”他说。“我们确保每个人都参与(试点),因为这是临床工作流程的一部分。他们必须从一开始就参与进来。”

员工中没有所有这些人才的组织应该考虑与外部合作伙伴建立一个混合团队,而中小型公司可能需要外包更多的角色-如果他们能够找到人才。斯里瓦斯塔瓦说:“如果你没有合适的AI/ML工程师和数据工程师,外包是非常困难的。”。此外,您需要团队中同时了解ML和您的行业(如制造业)的人员。这不是一个容易找到的技能组合,因此交叉训练至关重要。

最终,考虑一个能够产生实际业务结果的目标项目,然后扩展到业务的其他领域,就像大西洋健康系统(Atlantic Health System)使用基于ML的成像评估系统所做的那样。

一旦试点进入全面生产阶段,就要在你已经完成的基础上再接再厉。使业务保持最新的试点进度,展示项目完全部署后的功能,并创建其他业务部门可以利用的平台,用于他们自己的应用程序。斯里瓦斯塔瓦说:“今天的变化速度是有史以来最慢的。”。“想要颠覆和发展的公司必须改变其驱动价值的方式,而没有人工智能就无法做到这一点。如果你不投资人工智能,你的一只手就会被绑在背后。”