分割数据的方法越多，就越容易滋生确认偏差！

本文介绍了大多数人缺乏的心理习惯，以及为什么你不能指望在没有数据的情况下有效地指导你的行为。为了做出严格、科学、公正、数据驱动的决策，企业正在雇佣大量的数据科学家。现在，坏消息来了：这些决定通常不是。要做出数据驱动的决定，必须由数据驱动(而不是其他东西)。由于决策者缺乏关键的心理习惯，看起来很简单，但在实践中却很少见。想象一下，你正在考虑在网上买东西，而不是跑很远的地方去商店买东西。你把你的决定归咎于你是否信任网上卖家。通过快速搜索可以得到一些相关数据：你可以看到卖家的平均分是4.2，总分是5。如果没有决策基础，你的决策最多只会受到数据的启发，而不是数据的驱动。你不能用这个4.2分来驱动你的决定。一旦看到答案，就可以自由选择最方便的问题。假如我们做的第一件事就是在数据中摸索，那么我们的决定充其量也就是我喜欢称之为“数据启发”的决定。这就是我们的数据灵感，就像鲸鱼遇到浮游生物一样，在某些地方游来游去，然后到达情感的临界点，然后……做出决定。有些数据接近我们的决定，但这些数据不能推动它。这个决定完全来自其他地方。决策者在数据出现之前就已经下定决心了，所以决策总是存在的。事实证明，人类会选择性地与数据互动，以确认我们内心的选择。我们会在最方便的地方观察证据，但我们并不总是知道自己在做什么。心理学家有一个可爱的名字：确认偏差。很多人只是利用数据让他们对自己做出的决定感觉更好。用问题拟合答案5分得4.2分好吗？这取决于你无意识的偏见。一位真正想在网上购物的决策者会眯着眼睛看4.2，然后高兴地唱出这个数字有多高。“已超过4.0！他们甚至可以给出一个严格的分析，表明它在统计数据上明显高于4.0。(确定！这是你一直想要的p-value。)与此同时，如果有人真的不想买这个东西，他会找到另一种方法来回答这个问题：“我为什么要满足于一个评级低于4.5星的卖家？或者“但是看看那些一星评论。我不喜欢这么多。“听起来很熟悉吗？分割数据的方法越多，你的分析就越容易滋生确认偏差。数学的复杂性不能提供解决方案，只会使问题更难发现。因此，在我们刚才看到的这个简单的例子中，明显的东西被隐藏在一堆美丽的Gaussians分布中。不要假设你友好的邻居数据科学家也看到了。分割数据的方法越多，你的分析就越容易滋生确认偏差。结果呢？决策者最终会用数据让自己对无论如何都要做的事情感觉更好。当分析复杂或数据难以处理时，就会出现一些悲剧。有时，一群数据科学家和工程师花了几个月的时间把一切归结为4.2。在一段艰难的旅程结束时，数据科学团队成功地给出了4.2分和5分的结果！非常仔细地计算。团队夜以继日地工作，周末按时完成任务。利益相关者如何处理？是的，就像我们之前的4.2一样：通过他们的确认偏差眼镜来观察，对现实世界的行为没有影响。如果所有糟糕的数据科学家只是编造了一些数字，那么它是否准确并不重要，那么就没有什么不同。当决策者缺乏基本技能时，世界上没有数学来解决这个问题。您的数据科学团队不会为数据驱动的决策做出贡献。使用这些数据对我们无论如何都要采取更好的行动感觉是一种昂贵的(和浪费)爱好。数据科学家们，如果你的组织被这个决策者困扰，我建议使用最轻量级和最简单的分析来节省时间和金钱。在决策者得到更好的训练之前，你的数学只能释放热量。消除偏差确认问题：在找到数据定位后，您可以自由改变目标。解决方案：提前设定目标，抵制诱惑，然后采取行动。换句话说，决策者需要在任何人分析数据之前做一些准备。设定自己的决策标准是一门科学（我们将在未来的文章中深入介绍它，我们研究的问题只是冰山一角），但与此同时，在数据科学项目中，快速修复的能力是你的决策边界能力的一个重要点。熟能生巧最近，我和朋友Emma去布鲁克林买衣服。为了炫耀一件漂亮的衣服，她拉了拉衣服后面的价签。“嘿，多少钱？”她问我。“如果不到80美元，我就买。这就是决策智能！她不是先看价格，然后说服自己做决定，而是用数据驱动。通过熟练的反射，她衡量了自己有多喜欢这件衣服和预算，然后设定了决策的界限。只有在这之后，她才能看到数据（价格）。她习惯于按正确的顺序使用数据，这也是你可以锻炼的地方。Emma知道这一点并不总是需要数据驱动。她不必做出不重要的决定，但她也知道熟能生巧。在琐碎的决定中养成习惯比在重要的决定来临时挣扎容易得多。谈判课的想法并不新鲜。很多不同的课程都会教谈判，尽管其中一门课程几乎肯定会在第一天涵盖谈判。如果你在谈判前没有给自己的底线设定价值，不妨在额头上画“不知道我在做什么”。这是同一件事，但名称不同：在默认操作和另一种选择之间确定决策边界。解决方案是提前设定你的决策标准。事实上，对于谈判者来说，标准的建议是考虑所有可能的报价组合，并提前计划你对他们的反应。否则，经验丰富的对手很容易利用你。即使没有对方所有的说服策略，一些不重要的短期因素，如你的血糖水平、你的情绪、对方的微笑和阳光是否明亮，也会对交易产生不成比例的影响。同样，数据分析也是如此——将数据视为与你谈判以改变你的想法的商业对手。解决办法是提前计划好你的反应。例如，下次你谈论薪水时，确保你在听到他们的数字之前就考虑过这个数字。无论你是在看到一个数字之前，还是之后，想想它对你意味着什么，你仍然需要思考它，当你找到诀窍时。提前做这个操作可以帮助你对抗人工编程中的一些bug，从而在决策质量和协商性能上获得更大的好处。如果你想参与数据驱动的决策，改进这里的操作顺序是一个值得培养的宝贵习惯。这里有一些额外的好消息：练习会让你感觉很自然。