数据科学

在Shopify，我们接受了全栈数据科学的理念，经常被问到，“成为一名全栈数据科学家意味着什么？”。这个词最近在数据行业出现了激增，但似乎没有就定义达成共识。因此，我们与一些Shopify数据科学家聊了聊，分享了我们的定义和经验。

对于企业采取的每一项举措，都有潜在的机会和成本——不做其他事情的成本。但是，你是如何切实确定机会的大小的呢？

人们经常把数据科学等同于统计学，但它远不止于此。当数据科学最初作为一门技术出现时，它是三种不同技能的结合：科学、数学和艺术。但随着时间的推移，我们已经迷失了方向。我们已经开始优先考虑我们技能的科学方面，而忽略了创造性部分。

持续的数据科学家短缺导致企业重新配置数据团队，提升有前途员工的技能，并合作改善人才渠道。

过去几年，一家美国金融服务公司的IT领导者一直在努力雇佣数据科学家，以利用不断增加的数据，如果使用得当，这些数据可以改善客户体验并推动新产品的开发。为了解决这个招聘问题，他们必须有创造性。

他们不仅提供远程工作和灵活的工作时间。哦，不。他们还与大学建立了关系，建立了一个新兴的以技术为重点的实习生管道，他们在公司工作，获得数据科学方面的经验，毕业后有可能被聘用。

位于康涅狄格州斯坦福德的Synchrony金融公司高级副总裁兼首席信息官贝丝·希利（Bess Healy）表示：“尽管我们看到了大量数据，但分析师的需求量并不能满足需求。”Synchronty金融公司拥有18000多名员工和620亿美元存款。“我们试图在决策中以数据驱动，因此我们非常需要分析技能集……我们有一个非常专注于构建管道的方法。”

Synchrony不是唯一一家处理数据科学家短缺问题的公司，他们在企业中执行越来越重要的工作。

这家美国百货连锁店围绕 Google BigQuery 对其数据战略进行了现代化改造，引入了第三方数据集和算法，以进一步完善其个性化和商品化工作。

早在客户数据平台 (CDP) 出现之前，科尔的商业模式就以收集和培养客户数据为中心。

“几十年来，我们一直拥有一个本土的客户数据环境，”价值 194 亿美元的美国百货连锁店的首席技术官兼供应链官 Paul Gaffney 说。 “而且我们对我们的定制实施非常满意。”

这家总部位于威斯康星州密尔沃基的零售商最初在 Netezza 上建立了自己的本地 CDP，基于该连锁店的庞大信用卡组合和“一种非常个性化的培养客户忠诚度和依恋的历史方法”创建了强大的客户档案，Gaffney 说.

但在过去几年中，作为“技术现代化”的一部分，Kohl's 大力推动云计算，Gaffney 表示，该技术充分利用机器学习、个性化、增强的人口数据集和“超本地化”洞察力来交付与当地商店最相关的商品。

希望从人工智能中获得全部商业利益的企业正在转向 MLOps——一组旨在实现人工智能的新兴最佳实践和工具。

当公司第一次开始部署人工智能和构建机器学习项目时，重点往往是理论。 有没有可以提供必要结果的模型？ 如何建造？ 怎么训练？

但是数据科学家用来创建这些概念证明的工具通常不能很好地转化为生产系统。 因此，根据 IDC 的数据，部署 AI 或 ML 解决方案平均需要 9 个多月的时间。

IDC 分析师 Sriram Subramanian 说：“我们称之为‘模型速度’，即从开始到结束需要多少时间。”

这就是 MLOps 的用武之地。MLOps — 机器学习操作 — 是一组最佳实践、框架和工具，可帮助公司管理数据、模型、部署、监控以及采用理论概念验证 AI 系统的其他方面并投入使用。

“MLOps 将模型速度降低到几周——有时是几天，”Subramanian 说。 “就像使用 DevOps 加快构建应用程序的平均时间一样，这就是您需要 MLOps 的原因。”

他说，通过采用 MLOps，公司可以构建更多模型、更快地创新并解决更多用例。 “价值主张很明确，”他说。

Alt 数据为企业提供了获得竞争优势的机会，但将其集成到业务工作流程中的成本可能比您想象的要高。

现在，替代数据源已嵌入到各个部门的企业业务流程中。根据律师事务所 Lowenstein Sandler 2022 年的一项调查，从对冲基金和私募股权到风险投资，92% 的投资组织正在适度或显着地使用替代数据来为决策提供信息。受访者还预计到 2022 年他们对 alt 数据的使用将增加。通常，这些数据来自其他业务流程的耗尽，例如社交媒体活动、卫星图像、位置跟踪数据、信用卡交易和网络抓取。

虽然 alt 数据可以在整个组织中使用，从营销和销售到财务和战略职能，但 IT 部门通常负责第三方数据的管理和所有权。 2019 年，Forrester Research 发现 56% 的 alt 数据采集由 IT 部门的 CIO 和 CDO 管理。

采购、存储和管理 alt 数据给 IT 经理带来了新的挑战，并且可能带来大量不必要的成本。以下是 5 个此类挑战以及如何减轻其影响。

数据科学家的角色因行业而异，但有一些共同的技能、经验、教育和培训可以帮助你在数据科学职业生涯中占据一席之地。

什么是数据科学家？

数据科学家是分析数据专家，他们使用数据科学从大量结构化和非结构化数据中发现见解，以帮助塑造或满足特定的业务需求和目标。数据科学家在企业中变得越来越重要，因为组织越来越依赖数据分析来推动决策制定，并将自动化和机器学习作为其 IT 战略的核心组成部分。

数据科学家职位描述

数据科学家的主要目标是组织和分析数据，通常使用专为该任务设计的软件。数据科学家分析的最终结果必须足够容易让所有投资的利益相关者理解——尤其是那些在 IT 之外工作的利益相关者。

数据科学家的数据分析方法取决于他们所在的行业以及他们所服务的业务或部门的具体需求。在数据科学家在结构化或非结构化数据中找到意义之前，业务领导者和部门经理必须传达他们正在寻找的东西。因此，数据科学家必须具备足够的业务领域专业知识，才能将公司或部门目标转化为基于数据的可交付成果，例如预测引擎、模式检测分析、优化算法等。

到 2022 年，供应链的可见性、准确评估数据产品以及利用数据实现可持续性和优化将变得至关重要。

数据分析是一个不断发展的领域。 2020 年初，很明显组织将继续大力投资分析以支持其数字化转型。 COVID-19 大流行成为主要的破坏因素。

在大流行初期，组织似乎可能会阻碍数据和分析的进步，以缩减并专注于其他紧迫的优先事项，例如启用远程劳动力。但是，在许多情况下，组织加快了对数据和分析能力以及人工智能的采用。 2020 年 7 月，毕马威的一项研究发现，67% 的受访者因大流行而加快了数字化转型战略的步伐，其中 63% 的受访者增加了数字化转型预算。

从那以后事情就没有放缓。研究公司 Fortune Business Insights 预测，2028 年全球大数据分析市场将增长到 5497 亿美元，2021 年至 2008 年间的复合年增长率为 13.2%。

随着 IT 领导者在 2022 年及以后将注意力集中在数据分析和人工智能上，他们应该将以下三个密切相关的趋势放在首位。