几乎每个 CIO 都使用指标和关键绩效指标 (KPI) 来衡量其 IT 团队和战略的绩效，但并不总是正确的。 下面来看看你做错了什么。

马克吐温有句名言，谎言分为三种：谎言、该死的谎言和统计数据。 今天，许多 CIO 对指标也有同样的看法。

指标与其来源一样好。 新兴技术咨询公司 Hurwitz Strategies 的首席执行官 Judith Hurwitz 表示：“科技公司经常向咨询或分析公司付费，以根据其产品的最佳特征创建指标。” “因此，首席信息官必须谨慎对待表面价值的指标 [并且] 领导者需要了解指标背后的数据。”

度量解释本质上是一场数字游戏，与任何数字游戏一样，输赢都有可能。以下是 IT 领导者经常被关键绩效指标 (KPI) 和其他关键业务和 IT 指标误导的七种方式。

1.不考虑来源

在研究一个指标时，知道是谁创建了它和数据源很重要。例如，结果可能基于调查。如果是这样，询问有多少人接受了调查，以及他们在各自组织中扮演的角色。还要检查这些指标是否基于经过充分验证的方法。 “了解指标背后的研究和数据非常重要，”赫尔维茨说。

还要考虑指标的目的。它会被用作计划工具吗？如果是这样，它是否有助于确定业务战略、技术选择或其他需求？ “指标只是决策的一种工具，”赫尔维茨指出。 “因此，以怀疑的态度处理指标。”

2、不配合一线人员

到目前为止，大多数企业已经达到了数据成熟度。 “如果您的公司拥有数据，您肯定会利用它并尝试利用分析中的洞察力来推动积极的业务成果，”商业智能咨询公司 Cause + Effect Strategy 总裁兼首席执行官 John Loury 说。 “现在是 2022 年，我们已经过了 DRIP 的时代——数据丰富，洞察力贫乏。”

Loury 认为，大多数组织在与最终将使用收集到的指标来制定决策和推动行动的一线业务人员沟通时没有深入挖掘。在构建分析之前，他建议从所有相关方收集业务需求。这意味着将指标提炼到与推动结果最相关的数据点，Loury 指出。 “优先考虑最直接影响用户试图做出的业务决策的事情。”

Loury 建议建立和磨练沟通技巧，以便向团队成员传达基于指标的见解。 “现代 CIO 和分析领导者需要善于将能够对团队产生最大影响的关键指标汇总在一起，并以对用户有意义并有助于指导他们行为的方式呈现它们，”他说。

Loury 补充说，现在也是 CIO 让他们的团队真正了解他们的用户并为他们构建量身定制的有效分析解决方案的时候了。 “数据领导者和他们的团队争先恐后地构建一些东西——任何东西——并将其交付给业务团队的时代已经过去了，”他解释道。 “我们生活在那些日子的结果中，团队被墙到墙的仪表板所淹没，这些仪表板告诉他们一切，却什么也没有。”

3. 忽视所有权、参与和平衡的重要性

度量标准为所有权和员工参与以及持续改进和流程控制提供了绝佳机会。 “正确解释指标的关键是让整个团队参与进来，并使用这些指标共同改进流程，”商业和技术咨询公司 Centric Consulting 的 CIO 服务协调员 Paul Gelter 说。

在评估指标时，Gelter 认为在成本、质量和服务之间取得平衡至关重要。例如，成本指标可以在每个人已完成的工单中进行跟踪，但工单质量可能会因返工/重复工单而降低。 “然后服务可能会受到响应时间、积压和正常运行时间的影响，”他指出。这一切都是为了获得最佳平衡。

4. 追错号码

时间就是金钱，所以不要浪费宝贵的时间来检查不相关的指标。在决定研究哪些指标之前清楚地确定所有目标。在大多数情况下，不支持或反映未来决策选项的指标是不必要的，更糟糕​​的是，会分散注意力和浪费时间。

技术和设计工作室 L+R 的联合创始人亚历克斯·莱文 (Alex Levin) 建议，一旦完全确定了目标，就要分配足够的时间来了解导致单个指标波动的因素。接下来，调查各个指标如何相互关联，以及在计划或项目生命周期的不同阶段可能发生的可能直接影响被跟踪 KPI 的情况。

同时，不要通过隐瞒或囤积结论来浪费员工的时间。 Levin 建议与您的团队分享研究结果，确保每个人都可以使用指标驱动的见解来提高绩效和/或结果。

5. 单干

指标研究不应该是一项单独的工作。 Mike Capone 是分析和数据集成平台开发商 Qlik 的首席执行官，也是前 CIO，他建议从一开始就与职能领域的所有者合作，收集和应用有价值的上下文细节。 “这些投入和关系让 CIO 和 IT 团队对业务中实际发生的事情有正确的理解……以支持短期和长期的运营目标，”他解释道。 Capone 还建议与 C-suite 和其他关键企业领导者建立强有力的咨询合作伙伴关系。

6. 过分相信数字

适度的怀疑可以防止你走上错误结论的道路。记住吐温关于统计和谎言的俏皮话。收集到的数据本身总是存在某种缺陷的可能性。

数据可能在许多方面存在缺陷。样本量可能太小，时间尺度可能不正确，或者收集数据的人可能有自己的结论要推广。 ERP 软件开发商 ECI Software Solutions 的首席技术官 Brian Winters 说：“确保您完全了解数据的收集方式以及范围内包含的内容，然后才能确定它告诉您的内容，这一点至关重要。”

事实上，任何指标都可能产生误导，特别是如果您对数据没有很好的整体了解。 “系统指标可能特别具有误导性，因为它们通常为大型复杂系统的一小部分提供指标，”温特斯指出。 “那种狭隘的视野很容易把你带进兔子洞。”

7. 无法超越统计数据

指标虽然通常具有洞察力和价值，但可能无法说明全部情况。事实上，从表面上看任何指标有时会导致完全错误的结论。数据库软件开发商 Speedb 的首席执行官兼联合创始人 Adi Gelvan 解释说：“有时，您必须深入挖掘其他不太明显的指标，以确定真正发生了什么。”

例如，高内存利用率级别读数可能意味着应用程序正在超载内存。 “但可能存在一些完全不同的问题——也许是一个组件清理内存的速度不够快，”Gelvan 说。进一步调查可以指出真正的瓶颈，它可能根本不在内存中。 “例如，如果存储引擎在 I/O 消耗很高的情况下无法有效地将数据转储到磁盘，那么内存将快速填满并影响系统性能。”

为了防止误导性的见解，学会批判性地思考，不要立即跳到似乎是最明显的结论。随着业务流程和数据架构变得越来越大和越来越复杂，很多事情都可能出错，而找到根本原因可能会很棘手。 “最好的方法是让自己周围有一个多元化的主题专家团队，以便在做出决定之前进行咨询，”Gelvan 建议道。

本文：