7种企业数据实践中最可能出现的问题

提高数据分析能力正成为企业数字化转型的重中之重。成功的企业数字案例显然有自己的共同点：注重数据质量，注重数据上下文，建立有效的数据管理体系。而失败的企业各有各的问题。我们调查了118家公司的首席信息官（CIO）、首席技术官（CTO）、IT部门的数据总管和员工和顾问发现了这七种企业数据实践中最有可能出现的问题。当今数据分析面临的最大挑战是只做数据集中，不整合数据。SAS业务解决方案顾问，数据治理专业组织（DGPO）首席发言人AnneBuff说。事实上，许多公司只是简单地将数据堆积在一起，而不整合不同来源的数据。以身份识别为例。例如，一个系统下的“路人A”信息与另一个系统下的“路人A”（甚至可能是同名）信息之间没有关联。这样，就无法描述“路人A”的身份。Buff说：“数据集成并不意味着数据集中在一起，”Buff说，“对于一个研究对象，不同来源的数据应该相互关联，以获得更准确的信息定位。一旦你这样做，当所有相关数据都聚集在一起时，它将达到一个更完整的结果，即谁是比尔史密斯。你必须把它们联系起来。Buff还表示，减少不必要的人工操作和重复劳动是很重要的，同时正确选择、实现和实施数据集成技术。数据科学家会通过数据找到和分析竞争优势、可能的突破点等。因此，数据集成变得越来越重要。“如果不整合以前所有的数据，就找不到模式。“Buff说。Buff说：“集成数据技术对于一个成功的分析程序至关重要，我们必须意识到不同业务部门对数据的需求是不同的，”Buff说，“数据的形式不能相同。相反，还需要考虑数据供应，IT部门需要将业务类型与数据形式相匹配。并非所有业务都需要整合后的数据。以金融机构的许多需求为例，风险控制部门需要未经处理的原始数据来发现异常。例如，通过在多组数据中搜索某人的地址信息，确定是否申请了多笔贷款。“这些业务更倾向于研究多组类似数据之间的差异，因此应该保留这些差异。Buff解释道。另一方面，市场部等部门希望实现准确的用户信息定位，因此只需要正确的数据组。在过去的几年里，数据工程师可能比数据科学家更重要。数据科学家的职业正在迅速抢占硅谷、纽约、中关村和西二旗的主要互联网公司。一大批传统企业也开始设立这个职位，并大量招聘。毕竟，每个公司都希望通过蓬勃发展的新兴技术来预测和解释业务分析，这需要专业团队和人员的支持。但通常，这些公司只提供数据科学家。这远远不够。数据科学家需要数据工程师来收集数据集，但数据工程师的职位在许多公司并没有得到应有的重视。“目前，大公司对数据工程师的需求增长率是数据科学家的两倍。贝恩公司旧金山办事处合伙人、高级分析和数字实践负责人Lorisherer这么说。美联邦劳工统计局预测，目前数据工程师的平均年薪已达到135800美元，未来十年对数据工程师的需求将继续保持快速增长，2026年前将增加44200个相关工作岗位。一些专家表示，与许多IT职位一样，数据工程师的人才短缺，一些企业将通过招聘或从IT部门的普通员工中选择培训来弥补这一人才差距。近十年来，由于缺乏对数据及时性和生命周期的管理，随着数据存储成本的降低，IT部门可以长期存储大量数据。这对不断增长的数据量和数据分析需求来说是个好消息。“公司都想拥有大量的数据。“Soaringeagle咨询公司创始人，挖掘新黄金：管理您的业务数据（MiningNewGold:ManagingYourBusinessData）》合作作者PennyGarbus说。但Garbus也认为，许多企业已经保留了太久的数据。"这不仅仅是存储成本的问题，超过十年的数据基本上没有时效性。“数据将被赋予生命周期，”她说。Garbus认为，数据保留期应根据不同的部门和组织来确定。例如，零售业需要即时和相关的数据，而市场部门需要多年的历史数据来探索趋势。IT部门需要根据不同部门的需要制定一套明确的数据及时性标准，以确保数据的有效性。Garbus还补充说，对于那些“旧”数据，只要有，就不要把它们放在核心数据库中。“我们总是喜欢用最容易获得的数据来建模和分析，而不是最相关的数据，”我们只关注数据量而忽略数据相关性。”BoozAllenHamilton高级副总裁Steveeescaravage(IT咨询公司)说。他认为，这是公司或组织普遍存在的误解。也许，在寻找更多的数据集之前，我们应该先考虑数据是否相关，而不是问我们是否有正确的数据。例如，许多公司会从大量数据中发现异常。尽管充分性很重要，但优秀的公司也兼顾数据的针对性。他们会关注来自特定个体和机构的数据，并发现异常。例如，在分析病例时，医疗结构会考虑医生的轮班周期。Escaravage认为，公司或组织可以列出由业务部门填写的数据意愿清单、CTO或首席数据高管实现数据收集。忽略数据源“今天的数据分析存在一个显著的问题，即数据偏见。偏差数据会导致分析结果的偏差，从而影响正确的业务决策和结果。偏见来自于整个分析过程中涉及的许多部门，包括IT部门处理数据的方法。Escaravage说。“很多时候，IT部门在跟踪数据源方面并不完善。如果不能意识到这一点，就会影响数据模型的性能，而且缺乏数据源的可见性使得偏见的控制更加困难。Escaravage认为，IT有义务了解数据来源和来源的相关信息。在投资数据管理的同时，还应制定一套源数据管理解决方案。Escaravage认为，不仅应该有一个强大的源数据管理程序，它可以跟踪数据源，以及它是如何在系统中运行的，它应该为用户提供一些历史信息，并通过分析提供一些背景信息。“有时我们认为拥有优秀的数据和模型是完美的，但近年来，由于分析方法越来越复杂，对数据和分析结果的解释越来越少。与往年不同，在将分析结果应用于业务时，会根据业务规则对数据进行分析和阐述。”他说。Escaravage解释说，更新的深度学习模型为分析结果和决策提供了一些可行的建议，但不能提供帮助甚至重要的上下文，如事情的可能性和确定性。因此，有必要提供更好的用户界面来帮助用户做出决策。“技术问题是明确用户与数据模型的交互程度。UI/UX界面决定了系统对用户的透明度，这取决于用户对分析结果的研究深度，这些都是首席信息官（CIO）在建立分析系统之前，应考虑清楚。”