数据分析的坑挺大，如何防止走偏？

1.新手入门:高瞻远瞩的数据分析坑挺大的。刚开始走这条路的时候，要明确基本方向，依靠核心思想，否则只会越走越偏。最后，我觉得山太高，水太深。1.数据和数据分析数据实际上是对事物特征的定性指示和定量描述。例如，一个人的身份证号码、年龄、收入和身高构成了一组数据：{id:001,age:45,income:10000,height:176}-如果将很多人的数据汇成表，就构成了“结构化”(即比较规则一致)的“数据空间”。然而，有些或大多数数据并不规则，即分布相对混乱或不像我们想要的那样分布（如网页中的文本数据分布），称为“非结构化”数据空间。数据分析的本质是将这些结构化或非结构化数据映射到指定格式的数据空间，然后进行分析。数据分析的基础是数据空间的映射。这句话很绕道，但很深刻。它告诉我们，数据分析的一个基础（在实践中也是最重要的）是找到合适的数据空间映射方案——在某种程度上，这就是所谓的数据清理。2.对上述工具的看法，工具可分为两种，一种是基本的excel，spss，Sas等数据分析软件和许多数据库管理工具主要处理结构化数据，即将数据制作成表（当然，这些数据也需要清理，但不再涉及数据空间映射）;二是编程语言，包括python，R，Java，Ruby等。这些语言工具主要用于处理数据空间的映射和清洁，其中Python和R是常用的。在大多数情况下，前者由于其可扩展性而优于后者。3.学习:所谓“从天而降”，就是从一个比较高的地方学习的方法，就像拿着一张整体地图去探索数据分析和挖掘的世界。3.学习:所谓“从天而降”，就是从一个比较高的地方学习的方法，就像拿着一张整体地图去探索数据分析和挖掘的世界。推荐阅读:“数据科学实战”。其次，请注意：python学习，对于没有任何计算机基础的人来说，基本上很容易开始，越往后走越难！（python最初的自然语言结构非常友好，但当你学习函数和面向对象时，你仍然必须清楚地引用变量的变化（即如何在内存中流动数据）和功能域的动态变化。)在这种情况下，《headfirstpython》根本不合适，不要用它来学习python！我的建议是花时间学习计算机的基本原理，然后是C语言、Java等，然后学习python，否则你完全知道为什么！推荐阅读:《计算机科学概论》(第11版)和《疯狂Java讲义》(虽然这本书讲的是Java，但也讲的是内存中数据的流通，可以作为理解程序运行的参考。)最后，《Python基础教程(第二版修订版)》可以看入门统计教材:《简单统计》(很快就能看完，当时半天多看完。)以及对数据库原理的入门和深入理解:MySQL必知必会。 数据库系统概念有技术基础，然后看R语言编程艺术。此外，入门人员不应选择python3.x，选python2.7吧。为什么很多重要的模块，比如pandas和网上的很多信息，最多支持到2.7，你选择3.X入门就是舍近求远。最后，我们可以用Python进行数据分析，将所有知识串联起来，感受Pandas和scipy中的数据计算是如何反映数据空间映射的深刻概念的。二、中级:中级理论主要是理论学习和一些复杂的应用操作。1.理论基础：书籍良好的数学基础是进一步学习的支撑条件。以下是推荐阅读的书目：1。概率论和数学统计：概率论和数学统计，进一步学习概率和统计；2。高等代数：“高等代数简明教程（第一册）”，“数据空间映射”的理念来自高等代数；3。优化：“优化理论和方法”，参考书，中间阶段不仔细阅读。4.数据挖掘:数据挖掘导论、数学、数据挖掘、结构化数据库；5.信息检索领域介绍:信息检索导论6。统计学习理论快速俯瞰:统计学习方法7。实战在python：《集体智能编程》 《机器学习实战》8.Mahout平台实战:《Mahout实战》2.实战:使用数据库和数据api，实战学习(1)淘宝和百度提供的很多数据库:APIStore_为开发人员提供最全面的API服务可以下载到数据处理中。有一些经典的研究数据库，主要由一些大学建立，也可以用于培训模型；（2）.基于python，学习写网络爬虫，爬取文本数据进行分析，文本数据分析可能涉及到中文的自然语言处理，这更麻烦。有些模块可以直接使用（如jieba）。如果你觉得不理想，试着爬上英文页面。另外:写爬虫首先要了解网页的数据空间，建议阅读:HeadFirstHTML和HTMLCSS、XHTML(中文版);(3).练习清洗数据的基本技能——因为大多数数据工程师的主要工作都在这里，在清洗过程中，深入了解数据空间的映射。另外:写爬虫首先要了解网页的数据空间，建议阅读:HeadFirstHTML和HTMLCSS、XHTML(中文版);(3).努力练习清洁数据的基本技能——因为大多数数据工程师的主要工作都在这里，并在清洁过程中深入了解数据空间的映射。此外，清洁数据的必要技能：正则表达式。建议阅读：“正则表达式必知必会”;(4).混合编程和数据可视化:可以尝试以python为主的混合编程(python R)以及数据可视化，建议阅读GGPlot23。高级：回归、远程、优化和万法归属1。一般来说，与数据挖掘和机器学习相关的工作看起来很新。事实上，这只是很久以前理论知识的应用，在实战领域，新事物并不多。因此，从技术上讲，我们需要回到最核心的东西。因此，从技术上讲，我们需要回到最核心的东西。最核心的是算法和数据结构。知乎上有一些评论说，程序员一般不使用算法和数据结构。这句话确实适用于一般编写系统的程序员，但对于机器学习和数据挖掘的程序员来说，恰恰相反：我们的主要工作是从事算法和数据结构。例如，贝叶斯网络和人工神经网络实际上是基于图形算法的应用。推荐一本比算法导论好的书:算法(第4版)2。所谓远行，就是走出学习的象牙塔，走向实用或特殊的领域，比如金融量化分析。传统的投资经理，专业的投资，本质上是两个字：分散。所谓分散，说白话就是“把鸡蛋放在多个篮子里”，但至于怎么放，放多少，都很复杂。传统手段包括建立马科维兹模型和指数模型作为分散的参考模型。机器学习也可以分散，知名文艺复兴技术公司制作的“最大熵模型”优于传统两种模型，可以继续跑赢市场。如果你对机器学习和数据挖掘的理论有深刻的理解，你会发现分散本质上是在有限的条件下寻找最大的组合熵！最大熵模型之所以有效，是因为它以超大数据量为基准，获得了比传统分散模型更高的熵。这个要讲很多，确实比较高级，我就点到此为止，以后再细说。3.优化优化主要是优化python的执行效率——你知道，很多时候，量化分析对时间有非常严格的要求，差别很大，损失数百万。此时，您需要了解如何优化python。你知道python是用C写的吗？如果你优化得好，你的python可能比C快！本质上，优化问题是局部最优权衡和全局最优权衡的问题。优化的另一个问题是数值计算，包括矩阵的块计算、并行计算、Mapreduce对大量数据的处理等，这也很复杂。4.万法归宗：信息论数据处理的最高境界，其实是对信息论的深刻理解。算法优化，很多问题是指数问题变成对数问题，基本原则是信息理论；定量分析、买卖游戏、每笔交易如何暴露信息投资组合、如何产生最大熵文本挖掘、数据压缩、隐马尔科夫链、如何使用最少的信息映射原始空间。