简化ETL流程的几种基础数据生产方法
2020-12-31 17:32:45 阅读(162) 评论(0)
在从事数据相关项目的过程中,数据梳理、数据集成和数据补充需要大量的时间和精力,进入数据分析和数据挖掘阶段对数据的完整性也有严格的要求。对统计算法的验证和研究也面临着根据自身业务情况特点配置数据属性的需要。今天,我们将简要介绍几种基本的数据生产方法,以简化我们的ETL流程,方便您根据业务定义生产数据。本文以面向对象的JAVA语义为例。小伙伴们可以根据自己熟悉的各种语言来实现,笔者秉承逻辑方法高于开发语言选择的理念去发现和解决问题。业务场景:在医院治疗过程中,系统需要记录病案号、姓名、性别、发病时间、体重等基本信息。这些数据必须符合客观规律和结构化。接下来,我们将逐一介绍每个属性的数据生产方法。1、根据面向对象的原则,建立一个父类。首先,我们建立一个抽象的AttributeValueGenerator,在这个类别中声明一个实体entity,并建立一个getty。、set方法,之后的每一种方法都继承了这个父类。2、病案号病案号的定义是一组规则的、自定义的递增数列,我们可以通过递增的方式生成。定义两个参数:病案号的起始数和增长规模。病案号的起始数为10001,每次增加1。3、区分性别,我们用一组枚举数列填充性别属性。根据业务需要定制男女就诊比例,按百分比产生随机数。第一个参数是性别,第二个参数是出现的概率。4、发病日期分布在不同的年份和月份,需要计划起始日期、截止日期和期间概率,并在随机生成范围内转换为int输出。2005年发病时间占27%、在2006年的占73%5、体重正态分布一组成年人的体重数据应根据男女区别对待,并符合正态分布的规律。生成正态分布数据可以控制期望、方差、开始和截止日期。若为男性,平均值为67公斤,方差为10公斤、漂浮在40-150公斤之间。如果是女性,平均值为57公斤,方差为10、漂浮在40-150公斤之间。综上所述,我们可以不断思考,根据项目的需要,随时随地开发一些属性的生成函数。不要低估这些细节,一旦需要就可以快速生产。所谓:积土成山,风雨如雨;积水成渊,蛟龙生焉;积善成德,神明自得,圣心备焉。所以不积小步,无以千里;不积小流,不能成江海。你认为这是事实吗?
推荐阅读
- 计算机编程是什么专业
编程是属于什么专业?软件编程和硬件编程,不知道你说的哪一个,软件编程,本科阶段一般院校所在的计算机系涉及编程相关专业有,软件工程方向,网络工程方向;不同的院校专业命名不一样,但内容几乎一样,不过计算机系肯定会涉及编程的。只要喜欢,不在乎什么…查看详情
- 机械行业erp系统需要管控企业哪些方面?
各行各业都在使用erp系统对项目进行管理,制造行业在用、医药行业在用,机械行业也在用。今天小万就为大家介绍一下,机械行业erp系统需要对企业哪些方面进行管理和管控。图片来源于网络 机械行业erp系统主要会对企业以下5个方面进行管控:● 1…查看详情
- 动态壁纸软件哪个好?这几款千万不能错过
现在手机壁纸越来越多,大家得选择也越来越多,很多人也不再满足于单单的一张壁纸,也有人比较喜欢动态壁纸,这就需要下载动态壁纸软件,但是哪个好呢,以下是我给大家的推荐。1.人工桌面人工桌面官方网站-yoyo鹿鸣动态壁纸|电脑桌面人工桌面是米哈游…查看详情
- 电脑桌面软件 免费云桌面软件
电脑桌面上的软件实在是太多啦!下面小编就为大家推荐几款电脑桌面软件,希望你也能拥有一个干净的桌面。 不整理,心烦意乱;一整理,劳心伤神。 所以很多人,会选择放弃使用那些“食之无味,弃之可惜”的软件。 但不管你最终选择卸载哪些软件,…查看详情
- 一定要版权登记吗?即便出了书也不能放松警惕!
想必许多小白最难以理解的事就是,明明版权是作品完成之日起自动享有,为什么还要版权登记?或者如果作品完成后要版权登记,那么出了书还用版权登记吗?答案:版权是一定要登记的! 图片来源于网络 出了书还用版权登记吗?版权登记和出不出书没关系。因为版…查看详情
- 淘宝网开店货源如何寻找货源?
现在很多的小型创业者都选择淘宝开店,很多的小型店铺都比较着急寻找货源,而且现在很多的货源都很好找,下面万商云集小编给大家来详细介绍一下淘宝开店免费找货源的方法技巧。 1.实体 若自己在做淘宝电商之前,有经营线下的实体店铺,这种情况下…查看详情
- 淘宝二手市场和闲鱼有什么区别?
闲鱼上怎么分辨卖家和二手?在闲鱼上需要点击观看卖家的个人信息以及其卖的商品作出决定,其实卖家还是二手的。 卖家的话,其商品栏有很多不一样的商品,而且都是新的产品,如果是二手的话,其商品来基本都是陈列自己的生活用品显现为二手商品。闲鱼和咸鱼…查看详情
- 好用的视频剪辑软件有哪些 2022视频剪辑软件排行榜
说起视频剪辑的话,肯定不得不提adobe的一系列软件了,PR,AE,另外PS也会起到辅助作用,几乎所有的视频制作者都会使用这三款软件。下面小编就给大家来详细介绍一下好用的视频剪辑软件有哪些 2022视频剪辑软件排行榜这一块的相关内容…查看详情
- 2021最全五种销售管理软件排行榜
销售管理软件是对企业的客户信息、销售活动、业务统计进行智能化管理的工具。其主要适用于企业销售部门,帮助销售人员对客户、销售量和业务等重要数据进行管理。还有利于提升顾客忠诚度和满意度。有益于公司开展绩效考评,提升业务员工作效率。销售管理软件是…查看详情
- 【域名注册历史】1985-2020年,域名发展对经济有重要作用
当前,域名注册是要收费的,但是回顾域名注册历史,在1995年之前,域名是免费注册的,而1995年后,域名市场火爆,开始收费注册。随着市场发展和历史变迁,域名不仅是互联网产业的重要资源,也是企业文化和企业资产的一部分。图片来源于网络● 域名注…查看详情
- 2023年网站推广怎么做才有效果?
企业网站建设的目的是希望通过网站来推广自身,这无可厚非。但是大多数企业并不了解网站推广中的门道,从而走了不少弯路。其实,只要掌握以下6个网站推广的细节,企业网站就能够获得更多的曝光度,也能够被更多的用户搜索到。下面小编就给大家来详细介绍…查看详情
- 想要交友聊天,选这几款聊天软件再合适不过了
随着互联网越来越发达,现在越来越多的软件可以进行社交聊天,所以我今天就来给大家介绍盘点一下2021七大聊天软件排行,这几款软件都是非常不错的,并且都很好上手,如果想要交友聊天选这几款再合适不过了。1.冒泡物联(聊天软件)冒泡物联(聊天软件)…查看详情
- 一个商标一年要交多少钱 商标每年要交多少钱
现在商标注册的整体价格算是比较便宜的了,但是注册下来后的每年还是要定期缴纳费用,下面万商云集小编给大家来详细介绍一下 商标每年要交多少钱 1、商标是没有年费。 2、《商标法》规定: 第三十九条:注册商标的有效期为十年,自核准注…查看详情
- 淘宝店铺权重在哪看?
优质答案(1) 手淘拍立淘有权重,拍立淘就算通过拍照或上传图片,来帮助用户会自动检索和产品相似的宝贝。大家可以通过淘宝的猜你喜欢的渠道让消费者找到你店铺的产品,然后收藏加购下单,进而就会提高淘宝店铺权重。 做基础销量的方法有很多,常…查看详情
- 农产品要商品化、品牌化、电商化,互联网推广是什么角色?
农产品滞销,农民“丰产不丰收”是常见社会现象,也是国家农业部高度重视并极力解决的问题。互联网推广是什么?是渠道,也是销售。2020年上半年的网络数据统计显示,“互联网+农产品”能够有效帮助农产品销售,在一定程度上解决农产品滞销问题,为农户解…查看详情
猜你喜欢
最新文章

扫码二维码
立即领取《千元实战营销秘籍》
还可免费试用营销管理系统
*如有疑问,请随时拨打免费咨询热线:400-0033-166
服务时间:8:30-18:00
软件企业
认定号:川RQ-2018-0216
高新技术企业
认定号:GR201951001121

关注微信公众号
和10万中小企业共同成长

扫码下载APP
享全方位服务一触即达
Copyright © 2004-2022 万商云集(成都)科技股份有限公司 版权所有
蜀ICP备12001963号-2
川公网安备 51010402000322号

快速找产品
找一找哪款产品适合您?
咨询热线:400-0033-166
-


-
电话沟通
在线咨询
获取方案
下载APP
官方微信
扫码下载APP
全方位服务一触即达
关注万商云集
和10万中小企共成长
TOP

企业首选的数字选用平台






