数据科学家都在用哪些类型的工具？

摘要：工具／产品／解决方案是数据科学家洞察数据的利器。KDNugets网站对这一观点进行了年度调查，分析了数据科学家使用的工具类型，并提供了匿名的原始数据。通过主成分析（PCA）法律降维分析同时分析所有工具的关系。一般来说，PCA通过统计大样本数据的性质（eg,分析协方差)，试图用主要特征来解释关系。分析结果：目前分析的目标是通过一些主要成分来分析95种工具之间的关系。主要成分的数量最终由PCA的特征值决定。这里有两条规则：一条是根据特征值大于1的特征值数量选择主要成分的数量；一种是绘制陡坡图（screeplot），通过95个特征值，你会发现拐点的特征值。特征点陡坡图显示在第13和第14特征点时的拐点。因此，这里选择的13个主要成分可以解释它们之间的关系，如下图所示。(点击查看大图)根据主成分析列出了13种工具(投票数大于20)：大数据生态（Hadoop、Spark）和开源项目：Hadoop,HBase,Hive,Mahout,MLlib,OtherHadoop/HDFS-basedtools,Pig,Scala,Spark,SQLonHadoptols微软数据科学家工具：MicrosoftAzureML,MicrosoftPowerBI,MicrosoftSQLServer,基于Python的RevolutionAnalytics机器学习：Dataiku,H2O(0xdata)，Python,scikit-learn,Theano,VowpalWabitSAS公司产品：JMP,SASBase,SASEnterpriseMinerMATLAB、R语言等统计工具：GnuOctave,MATLAB,Orange,R,RapidMiner,Rattle,WekaIBM产品：IBMCognos,IBMSPSSModeler,IBMSPSSStatistics,IBMWatsonalyticslinux工具和SQLang：Actian,C/C ,Perl,SQLang,Unixshell/awk/gawk深度学习：Caffe,Pylearn2商务智能软件:PentahoandQlikView数据分析平台:DatamerandZementisexcel和Word统计工具:XLStataterexcel其他:OtherDeepLearningtools,Otherfreeanalytics/dataminingtools,OtherHadoop/HDF-basedtools,Otherpaidanalytics/datamining/datasciencesoftware,Otherprograminglanguages数据可视化：C4.5/C5.0/See5，Miner3D,在选择大数据、数据挖掘和数据分析工具时，Oracledataminer总结数据科学家更喜欢有一定生态基础的工具，这样每个工具都可以相互支持。选择正确的工具来提高大数据项目的成功机会是非常重要的。为了提高大数据项目的成功机会，选择正确的工具是非常重要的。没有孤立的工具可以进行所有的数据分析，专业的数据专家倾向于使用不止一种相关的工具（发现数据专家平均使用5种数据分析工具）。您可以根据使用相关工具的数据专家来决定您的选择。另一种观点是选择大厂的产品，比如，IBM、大品牌的微软和SAS产品更丰富，可以让你的产品更容易扩展。