数据处理者的五个“诫律”

2021-01-04 10:23:40 阅读（162） 评论（0）

在实际工作中，数据科学家不仅要学习如何使用实用工具，还要学习如何与同事合作。本文探讨了数据科学家和数据工程师在实际数据建模和数据处理过程中应如何处理关系，顺利完成项目。它引用了“摩西十诫”的典故，为数据处理者提出了五条“诫律”。让我们一起参考一下！数据科学家和工程师的“五诫”1。了解你的好数据模型取决于好数据。数据科学家需要知道基于创建和存储产品的数据库是否可靠，以及数据库更新的频率，才能建立真正的生产力模型。在项目开始前，应收集并与项目团队分享这些信息，以避免项目过程中可能出现的障碍。在一个理想的世界里，科学家和工程师应该提前准备好应对即将到来的变化（例如，各种变量类型之间的变化），这样他们就可以共同创建、测试和部署相应的新版本。即使不能保证在每个程序中避免事故，共享资源和尽快发现缺陷也可以降低工程师的风险，预见解决可能出现的问题。2.熟悉合作伙伴使用的工具数据科学家使用的主要编程语言是R或Python，便于数据清洁、探索和建模。然而，工程师需要使用各种不同的工具集来构建可扩展的网络和移动应用程序(例如，NET、RubyonRails、Node.js或JVM)。虽然期望一个人完全理解使用这两套工具是不现实的，但跨越技术“障碍”的限制，对彼此使用的语言和过程有一个基本的理解将极大地有助于合作的发展。手动将统计代码重写为另一种语言是一个耗时、费力、极易出错的项目。因此，当对问题的担忧增加时，建立良好的沟通机制（面对面和网络数字化）是绝对重要的。3.当数据科学家和工程师使用不同的工具包工作时，理解技术的局限性必然会遇到技术的局限性。这常常让他们发疯，因为没有人喜欢被要求返工，或者看着他们辛勤工作创造的产品变得不理想甚至更糟，看到他们的辛勤工作白费了。一旦你知道模型开发和部署所需的语言（警告条2），你应该花时间研究什么是可能的，什么是完全不可能的。然后我们应该设定一个定期的跨职能研讨会时间表。科学家和工程师应该经常沟通。例如，你应该考虑在哪些方面取得突破，在哪些方面可以做出让步，在哪些方面技术根本无法实现。是否有其他选择需要付出多少努力才能实施？这些努力是否符合商业价值？在实际工作中，假设你是一个数据科学家，正在为Ruby编写的APP编写一个使用R语言的反欺诈算法，那么你应该知道R的GLM功能(用于构建广义线性模型的函数)在Ruby(或Java)中没有相应的本地功能。在这个时候，我们需要一场头脑风暴来寻找出路。在这个时候，我们需要一场头脑风暴来找到出路。4.互相尊重。在任何时候，数据科学家的工作都需要每个人的共同努力才能完成。在这个过程中，充满了误解的可能性。我们的建议是什么？正如老话所说，不要对别人做任何你不想做的事。对于数据科学家来说，你所要做的就是写出易于维护和使用的高质量代码，积极听取工程师关于重建模型和采用更好替代方法的建议，询问他们如何成为一个真实的可执行时间表，以及你还能提供什么帮助。对于工程师来说，与数据科学家合作需要明确必要的职责，共同讨论书面处理问题的优先顺序文件，遵循不断更新和现实的路线图，并根据项目过程不断检查、完善和实施科学的数据模型。5.履行你的责任和义务。有些人认为，一旦创建了一个模型，并投入到实际的商业应用中，无论是创建它的数据科学团队，还是实现它的工程师，他们都可以自由地开始下一个大项目，而无需管理它。这个想法很危险。事实上，这只是生命周期分析的另一个阶段的开始。数据科学家和工程师在生产过程中建立监控和管理模型的计划是非常重要的。谁将监督模型和服务器的稳定性，如何存储和共享和升级输入和输出数据，并制定行动计划来解决可能出现的问题。如果模型吞吐量增加，扩展需要多少时间和金钱来确定公平的早期职责划分，并相应地分配团队成员的工作时间。数据科学家和数据工程师都在朝着同样的目标努力：使用代码构建程序来解决实际的商业问题。不幸的是，误解和低技术效率往往导致人们忽视这一目标。当我们在工作中处理与他人的关系时，虽然没有通用的神奇公式，但这五条警告应该会对消除数据工程师和数据科学家之间的差距产生深远的影响。

内容来源:数据分析网，以上内容来源于网络，不代表本站观点，如有侵权，请联系删除。

上一条：活跃用户与留存是什么，怎么做？下一条：一名数据分析师的日常工作流是怎样的？

商标/知识产权

网站服务

CRM/销售管理

ERP/智慧办公

财税人力

安全/技术支持

其他应用

商标版权

小程序

数据处理者的五个“诫律”

推荐阅读

猜你喜欢

分类

最新文章