跳转到主要内容

【暗数据】解锁暗数据的隐藏值

很可能,你收集的大部分数据-从人类通信到机器日志-都在堆积,几乎没有实现其潜力的计划。善治和人工智能可以提供帮助。

寻求从公司收集的数据中获取业务价值的IT领导者面临着无数挑战。也许最不被理解的是,我们失去了一个机会,无法利用创建的、经常存储的、但很少与之交互的数据。

这种所谓的“暗数据”,以物理学中的暗物质命名,是在做生意过程中常规收集的信息:它由员工、客户和业务流程生成。它由计算机、应用程序和安全系统生成为日志文件。出于法规遵从性目的必须保存的文档,以及永远不应保存但仍然保存的敏感数据。

据Gartner称,企业信息领域的大部分由“暗数据”组成,许多公司甚至不知道他们拥有多少数据。存储信息会增加法规遵从性和网络安全风险,当然,这样做也会增加成本。

弄清楚您拥有什么样的暗数据,它保存在哪里,以及其中包含什么信息,是确保这些暗数据中有价值的部分是安全的,不应该保存的部分被删除的关键步骤。但是,挖掘这些隐藏的数据的真正优势可能在于将其用于实际有益于业务。

但挖掘暗数据并非易事。它有多种格式,例如可以完全未格式化,锁定在扫描文档或音频或视频文件中。

【数据工程师】什么是数据工程师?高需求的分析角色

数据工程师是任何企业数据分析团队的重要成员,负责管理、优化、监督和监控整个组织的数据检索、存储和分发。

什么是数据工程师?

数据工程师设计、构建和优化大规模数据收集、存储、访问和分析系统。它们创建数据科学家、以数据为中心的应用程序和其他数据消费者使用的数据管道。

这个IT角色需要大量的技术技能,包括SQL数据库设计和多种编程语言的深入知识。数据工程师还需要跨部门工作的沟通技能,并了解业务领导希望从公司的大型数据集中获得什么。

数据工程师通常负责构建访问原始数据的算法,但要做到这一点,他们需要了解公司或客户的目标,因为将数据战略与业务目标相协调非常重要,尤其是涉及大型复杂数据集和数据库时。

数据工程师还必须知道如何优化数据检索,以及如何为利益相关者开发仪表板、报告和其他可视化。根据组织的不同,数据工程师也可能负责传达数据趋势。较大的组织通常有多个数据分析师或科学家来帮助理解数据,而较小的公司可能需要数据工程师来完成这两个角色。

数据工程师角色

根据Dataquest,数据工程师可以扮演三个主要角色。其中包括:

【数据分析】什么是数据可视化?为决策提供数据

数据可视化是以图形格式表示数据,使决策者更容易看到和理解数据中的趋势、异常值和模式。

数据可视化定义

数据可视化是以图形格式(如图、图或地图)呈现数据,使决策者更容易看到和理解数据中的趋势、异常值和模式。

地图和图表是最早的数据可视化形式之一。最著名的早期数据可视化示例之一是法国土木工程师查尔斯·约瑟夫·米纳尔(Charles Joseph Minard)于1869年创建的流程图,以帮助了解拿破仑的军队在1812年灾难性的俄罗斯战役中所遭受的痛苦。该地图使用两个维度来描述军队的数量、距离、温度、纬度和经度、行进方向,以及相对于特定日期的位置。

今天,数据可视化涵盖了可视化显示数据的所有方式,从仪表板到报告、统计图、热图、绘图、信息图等等。

数据可视化的业务价值是什么?

数据可视化帮助人们快速高效地分析数据,尤其是大量数据。

通过提供易于理解的数据可视化表示,它可以帮助员工根据这些数据做出更明智的决策。以视觉形式呈现数据可以使其更容易理解,使人们能够更快地获得见解。可视化还可以更容易地传达这些见解,并查看独立变量之间的关系。例如,这可以帮助您查看趋势,了解事件频率,并跟踪操作和性能之间的联系。

【数据架构】数据湖屋的兴起:数据价值的新时代

查询加速器(如数据湖屋)将数据仓库和数据湖整合到一个单一的洞察系统中,使企业能够以降低的成本加速分析并最大化数据价值。

在新冠肺炎大流行高峰时期,需要接种6500万剂疫苗,沃尔格林制药更新和医疗保健平台技术副总裁路易吉·瓜达格诺(Luigi Guadagno)需要知道将疫苗送往何处。为了找到答案,他查询了沃尔格林的数据湖屋,它是在微软Azure上用数据桥技术实现的。

“我们利用数据湖屋来了解这一时刻,”他说。对瓜达诺而言,从技术上讲,将疫苗供应与患者需求相匹配的必要性来得正是时候。这家庞大的制药连锁企业已经建立了自己的数据湖屋,以应对这些挑战,正如Guadagno所说,“在合适的地方为合适的患者提供合适的产品。”

此前,Walgreens曾试图利用其数据湖完成这项任务,但面临两个重大障碍:成本和时间。许多组织都知道这些挑战,因为它们试图从大量数据中获取分析知识。其结果是,企业如何呈现洞察的一个新的范式转变,即企业依赖于一种新的技术类别,这种技术旨在帮助企业最大化其数据的价值。

【欧盟数据保护】欧盟:DGA和《数据法》下的非个人数据传输

在过去的一年中,关于公平获取和使用数据的统一规则(“数据法草案”)的法规提案(由欧盟委员会(“委员会”)于2022年2月23日发布)和数据治理法(“DGA”)的提案(由欧洲理事会在2022年5月16日批准,其条款将在其生效15个月后适用)已成为两项重要且备受期待的提案欧盟立法。

在这篇深入的文章中,数据专家Gonzalo Muelas评估了两项立法提案的目标,特别侧重于对国际数据传输的潜在影响,并因此对数据处理活动的跨境贸易进行了评估。

“我喜欢它的流动方式

我喜欢它成长的方式

你不能把这个从我身上拿走”

尽管这些流行语摘自汤姆·米什(Tom Misch)的经典名著《It Runs Through Me》的开头,但它们也可以代表欧洲政客,同时提到个人和非个人数据的无形潜力。

出身背景

欧盟委员会在试图让欧盟为数字时代做好准备时采取的积极主动的方法,最近得到了欧洲议会通过的旨在实施其数据战略的立法举措的补充。

【数据科学】数据科学推动 Kohl’s 的重大决策

这家美国百货连锁店围绕 Google BigQuery 对其数据战略进行了现代化改造,引入了第三方数据集和算法,以进一步完善其个性化和商品化工作。

早在客户数据平台 (CDP) 出现之前,科尔的商业模式就以收集和培养客户数据为中心。

“几十年来,我们一直拥有一个本土的客户数据环境,”价值 194 亿美元的美国百货连锁店的首席技术官兼供应链官 Paul Gaffney 说。 “而且我们对我们的定制实施非常满意。”

这家总部位于威斯康星州密尔沃基的零售商最初在 Netezza 上建立了自己的本地 CDP,基于该连锁店的庞大信用卡组合和“一种非常个性化的培养客户忠诚度和依恋的历史方法”创建了强大的客户档案,Gaffney 说.

但在过去几年中,作为“技术现代化”的一部分,Kohl's 大力推动云计算,Gaffney 表示,该技术充分利用机器学习、个性化、增强的人口数据集和“超本地化”洞察力来交付与当地商店最相关的商品。

【数据分析】什么是数据分析? 分析和管理数据以做出决策

数据分析是一门专注于从数据中提取洞察力的学科,包括数据的分析、收集、组织和存储,以及这样做的工具和技术。

什么是数据分析?

数据分析是一门专注于从数据中提取洞察力的学科。 它包括数据分析和管理的过程、工具和技术,包括数据的收集、组织和存储。 数据分析的主要目的是对数据应用统计分析和技术来发现趋势和解决问题。 作为分析和塑造业务流程以及改进决策和业务成果的一种手段,数据分析在企业中变得越来越重要。

数据分析从一系列学科(包括计算机编程、数学和统计学)中汲取知识,对数据进行分析,以描述、预测和提高性能。 为了确保进行稳健的分析,数据分析团队利用了一系列数据管理技术,包括数据挖掘、数据清理、数据转换、数据建模等。

数据分析的四种类型是什么?

分析大致分为四种类型:描述性分析,它试图描述在特定时间点发生的事情;诊断分析,用于评估发生某事的原因;预测分析,确定未来发生某事的可能性;和规范性分析,它提供了为实现预期结果而采取的建议措施。

进一步来说:

【CDO观点】陶氏 CDO Chris Bruman:我们需要一种新的数据质量方法

通过将 IT 定位为业务部门是数据所有者的解决方案中心(Hub),陶氏的 IT 组织可以更快地响应以提供业务和客户价值。

去年,陶氏在更好地利用其数据方面迈出了大胆的一步。为了消除孤立的数据孤岛并更好地利用商业智能作为企业资产,该公司成立了一个内部组织,将 IT 和公司的全球业务部门无缝集成到一个保护伞下。

该组织的结构称为业务数据服务,类似于自行车车轮,以 IT 为中心,辐条延伸到陶氏的业务部门、地区和职能部门。创建该小组的最初目标是加速数字业务流程工具和服务的交付,并提高采用率以提供更强大的业务成果。

随着这家拥有 125 年历史的公司不断发展以满足不断变化的市场需求,并且随着人工智能和机器学习等支持技术的加入,这种集成和协作的方法改变了 IT 部门决定哪些数字解决方案适合陶氏和陶氏首席数据官 Chris Bruman 解释道。

单击下面嵌入的播客播放器链接,收听 CIO 执行委员会 Future Forward 与 Chris Bruman 的播客对话,并继续阅读这段由两部分组成的对话的编辑摘录。

订阅 首席数据官