技术与生成人工智能的变代时刻：首席信息官和首席技术官指南

首席信息官和首席技术官可以采取九项行动，用生成人工智能重新构想业务和技术。

媒体上几乎每天都会出现一些与生成人工智能相关的破坏商业的新发展。这种兴奋是当之无愧的——麦肯锡的研究估计，生成性人工智能每年可以增加相当于2.6万亿至4.4万亿美元的价值。

首席信息官和首席技术官（CTO）在获取这种价值方面发挥着关键作用，但值得记住的是，我们以前看过这部电影。新技术的出现——互联网、移动、社交媒体——引发了一场实验和试点的混战，尽管重要的商业价值往往难以获得。从这些发展中吸取的许多教训仍然适用，尤其是在通过试点阶段达到规模时。对于首席信息官和首席技术官来说，生成性人工智能的繁荣提供了一个独特的机会，可以应用这些经验教训来指导高管将生成性人工智慧的承诺转化为企业的可持续价值。

关键术语快速入门

通过与数十位技术领导者的对话，以及对50多家公司（包括我们自己的公司）的生成性人工智能举措的分析，我们确定了所有技术领导者都可以采取的九项行动，以创造价值、协调技术和数据、扩展解决方案以及管理生成性人工智慧的风险（见侧栏“关键术语快速入门”）：

1. 迅速采取行动，确定公司采用生成型人工智能的态势，并为员工开发实用的沟通方式和适当的访问方式。
2. 重新构想业务，并确定通过提高生产力、增长和新的业务模式来构建价值的用例。开发一种“金融人工智能”（FinAI）能力，可以估计生成人工智能的真实成本和回报。
3. 重新构想技术功能，专注于在软件开发中快速构建生成性人工智能能力，加快技术债务削减，并大幅减少IT运营中的手动工作量。
4. 利用现有服务或调整开源的生成性人工智能模型来开发专有能力（至少在短期内，构建和运营自己的生成性AI模型可能需要花费数千万至数亿美元）。
5. 升级您的企业技术架构，以集成和管理生成的人工智能模型，并协调它们如何相互操作以及现有的人工智能和机器学习（ML）模型、应用程序和数据源。
6. 开发一种数据体系结构，通过处理结构化和非结构化数据源，实现对高质量数据的访问。
7. 创建一个集中的、跨功能的生成人工智能平台团队，根据需要向产品和应用团队提供批准的模型。
8. 投资提高关键角色的技能——软件开发人员、数据工程师、MLOps工程师和安全专家——以及更广泛的非技术劳动力。但由于生成人工智能的影响各不相同，您需要根据角色和熟练程度来定制培训计划。
9. 评估新的风险格局，并建立持续的缓解措施，以解决模型、数据和政策问题。

1.确定公司采用生成人工智能的态势

随着生成型人工智能的使用越来越广泛，我们看到首席信息官和首席技术官通过阻止员工访问公共应用程序来限制风险。在这样做的过程中，这些公司有可能错过创新机会，一些员工甚至认为这些举措限制了他们培养重要新技能的能力。

相反，首席信息官和首席技术官应与风险领导者合作，平衡风险缓解的真正需求与在业务中培养生成性人工智能技能的重要性。这需要通过围绕业务所能承受的风险水平以及生成人工智能如何融入业务的整体战略达成共识，来确立公司对生成人工智能的态度。这一步骤使企业能够快速确定公司范围内的政策和指导方针。

一旦明确定义了政策，领导者就应该将其传达给业务部门，首席信息官和首席技术官为组织提供适当的访问权限和用户友好的指导方针。一些公司已经在全公司范围内推出了关于生成人工智能的通信，为特定用户群体提供了广泛的生成人工智能访问权限，创建了弹出窗口，在用户将内部数据输入模型时向用户发出警告，并建立了一个指导页面，每次用户访问公开的生成人工信息服务时都会出现。

2.确定通过提高生产力、增长和新的商业模式来构建价值的用例

首席信息官和首席技术官应该是我们已经在许多公司看到的“用例致死”狂热的解药。他们可以通过与首席执行官、首席财务官和其他商业领袖合作，思考生成性人工智能如何挑战现有的商业模式，为新的商业模式打开大门，并创造新的价值来源，从而提供最大帮助。随着对技术可能性的深入理解，首席信息官和首席技术官应该确定整个公司中可以从生成人工智能中受益的最有价值的机会和问题，以及那些不能受益的机会和问题。在某些情况下，生成人工智能并不是最好的选择。

例如，麦肯锡的研究表明，生成性人工智能可以将某些营销用例的生产力（例如，通过分析非结构化和抽象的数据以获得客户偏好）提高约10%，将客户支持（例如，智能机器人）提高高达40%。2首席信息官和首席技术官尤其有助于发展一种观点，即如何最好地按领域（如客户旅程或业务流程）或用例类型（如创意内容创建或虚拟代理）对用例进行集群，从而使生成性人工信具有最大价值。识别机会并不是最具战略意义的任务——有很多生成性人工智能用例——但是，考虑到人才和能力的最初限制，首席信息官和首席技术官需要提供可行性和资源估计，以帮助业务序列生成人工智能优先事项。

提供这种级别的咨询需要技术领导者与企业合作，开发FinAI能力，以估计生成性人工智能举措的真实成本和回报。成本计算可能特别复杂，因为单位经济性必须考虑多个模型和供应商成本、模型交互（其中查询可能需要来自多个模型的输入，每个模型都有自己的费用）、持续使用费和人力监督成本。

3.重新构想技术功能

生成型人工智能有可能彻底重塑技术功能的工作方式。首席信息官和首席技术官需要全面评估生成性人工智能对所有技术领域的潜在影响，但迅速采取行动积累经验和专业知识很重要。他们可以将最初的精力集中在三个方面：

• 软件开发：麦肯锡的研究表明，生成人工智能编码支持可以帮助软件工程师更快地开发代码35%至45%，重构代码20%至30%，执行代码文档45%至50%。3生成人工智能还可以自动化测试过程和模拟边缘案例，使团队能够在发布前开发更具弹性的软件，并加快新开发人员的加入（例如，通过向生成人工智能询问有关代码库的问题）。要获得这些好处，需要广泛的培训（见行动8中的更多内容），并通过DevSecOps实践实现集成和部署管道的自动化，以管理代码量的激增。
• 技术债务：技术债务可能占技术预算的20%至40%，并显著减缓开发速度。4首席信息官和首席技术官应审查其技术债务资产负债表，以确定代码重构、代码翻译和自动测试用例生成等生成性人工智能功能如何加速减少技术债务。
• IT运营（ITOps）：首席信息官和首席技术官需要审查他们的ITOps生产力工作，以确定生成性人工智能如何加速流程。Generative AI的能力特别有助于通过自助代理实现密码重置、状态请求或基本诊断等任务的自动化；通过改进路线加快分流和解决问题；提出有用的上下文，如主题或优先级，并生成建议的响应；通过分析大量日志流来提高可观察性，以识别真正需要关注的事件；以及编制文件，如标准作业程序、事故事后报告或业绩报告。

4.利用现有服务或调整开源生成人工智能模型

当涉及到开发生成人工智能能力的策略时，存在着经典的“租、买或建”决策的变体。基本规则是正确的：一家公司应该投资于生成性人工智能能力，在那里它可以为企业创造专有优势，并为那些更像商品的企业提供现有服务。

首席信息官和首席技术官可以将这些选项的含义视为三个原型：

Taker-

——通过聊天界面或API使用公开可用的模型，很少或没有定制。好的例子包括现成的生成代码的解决方案（如GitHub Copilot）或帮助设计师生成和编辑图像的解决方案，如Adobe Firefly。就工程和基础设施需求而言，这是最简单的原型，通常是启动和运行最快的。这些模型本质上是依赖于以提示的形式向公共模型提供数据的商品。

Shaper

——将模型与内部数据和系统集成，以生成更自定义的结果。一个例子是一个模型，该模型通过将生成的人工智能工具与客户关系管理（CRM）和财务系统连接起来，以整合客户之前的销售和参与历史，来支持销售交易。另一种是利用公司内部文件和聊天历史对模型进行微调，以充当客户支持代理的助理。对于那些希望扩展生成人工智能能力、开发更多专有能力或满足更高安全性或合规性需求的公司来说，Shaper原型是合适的。

在这个原型中，有两种常见的方法可以将数据与生成的人工智能模型集成。一种是“将模型引入数据”，即模型托管在组织的基础设施上，无论是在本地还是在云环境中。例如，Cohere在客户端的云基础设施上部署基础模型，从而减少了数据传输的需要。另一种方法是“将数据带到模型中”，组织可以聚合其数据，并在云基础设施上部署大型模型的副本。这两种方法都实现了提供对基础模型的访问的目标，在它们之间进行选择将取决于组织的工作负载足迹。

Maker

——构建一个基础模型来处理一个离散的业务案例。构建基础模型既昂贵又复杂，需要大量的数据、深厚的专业知识和强大的计算能力。这种选择需要大量的一次性投资——数千万甚至数亿美元——来构建和训练模型。成本取决于各种因素，如训练基础设施、模型架构选择、模型参数数量、数据大小和专家资源。
每个原型都有其自身的成本，技术领导者需要考虑这些成本（证据1）。虽然随着时间的推移，新的发展，如高效的模型训练方法和较低的图形处理单元（GPU）计算成本，正在降低成本，但Maker原型的固有复杂性意味着短期内很少有组织会采用它。相反，大多数人将转向Taker和Shaper的某种组合，前者用于快速访问商品服务，后者用于在基础模型之上构建专有功能。

不同架构的估计总拥有成本

Taker

示例用例

• 现成的软件开发人员编码助理
• 通用客户服务聊天机器人，仅带提示工程和文本聊天

估计总拥有成本

• 约50万至200万美元，一次性

  • 现成的编码助理：约50万美元用于集成。费用包括一个6人的团队，工作3到4个月。
  • 通用客户服务聊天机器人：约200万美元，用于在第三方模型API的基础上构建插件层。费用包括一个8人的团队，工作9个月。

• 约50万美元，每年重复

  • 模型推断：
    • 现成的编码助理：每1000名每日用户每年约20万美元
    • 通用客户服务聊天机器人：每年约20万美元，假设每天1000次客户聊天，每次聊天10000个代币
  • 插件层维护：每年高达约20万美元，假设开发成本的10%。

Shaper

示例用例

• 客户服务聊天机器人根据特定行业的知识和聊天历史进行了微调

估计总拥有成本

• 约200万至1000万美元，一次性使用，除非对模型进行进一步微调
  • 数据和模型管道建设：约50万美元。成本包括5至6名机器学习工程师和数据工程师，他们工作16至20周，收集和标记数据并执行数据ETL。¹
  • 模型微调²：每次训练约10万至600万美元³
    • 低端：成本包括计算和2名数据科学家工作2个月
    • 高端：基于公共闭源模型的计算微调成本
  • 插件层建筑：约100万至300万美元。费用包括一个6至8人的团队，工作6至12个月。
• 约50万至100万美元，每年重复
  • 模型推断：每年高达50万美元。假设每天有1000次聊天，包括音频和文本。
  • 模型维护：约50万美元。假设MLOps平台每年100000至250000美元⁴ 以及1名机器学习工程师花费50%到100%的时间来监控模型性能。
  • 插件层维护：每年高达30万美元，假设开发成本的10%。

Maker

示例用例

• 为协助患者诊断而培训的基础模型

估计总拥有成本

• 约500万至2亿美元，一次性使用，除非模型经过微调或再培训
  • 模型开发：约50万美元。成本包括4名数据科学家利用现有研究在模型设计、开发和评估上花费3到4个月的时间。
  • 数据和模型管道：约50万至100万美元。成本包括6至8名机器学习工程师和数据工程师，他们工作约12周，收集数据并执行数据ETL。¹
  • 模特训练²：每次训练约400万至2亿美元。³成本包括4至6名数据科学家工作3至6个月的计算和劳动力成本。
  • 层插入构建：约100万至300万美元。费用包括一个6至8人的团队，工作6至12个月。
• 约100万至500万美元，每年重复
  • 模型推断：每1000名用户每年约10万至100万美元。假设每位医生每天看20到25名患者，每次就诊患者讲话6到25分钟。
  • 模型维护：每年约100万至400万美元。假设MLOps平台每年250000美元⁴ 以及3至5名机器学习工程师来监测模型性能。
  • 插件层维护：每年高达30万美元，假设开发成本的10%。