应用分析:阿里云的NoSQL存储服务OTS
2020-12-31 10:32:05 阅读(160) 评论(0)
1.概要 OTS是在阿里云飞天分布式系统上建立的NoSQL存储服务,提供大量的结构化数据存储和实时访问。OTS通过自动数据分区和负载平衡技术,通过实例和表组织数据,为应用程序提供规模(数据和访问)的无缝扩展。OTS服务通过调用OTSAPI/SDK或操作管理控制台来使用。OTS服务具有以下主要特点: 规模可扩展:OTS具有可扩展的服务能力。随着应用表数据量和访问量的逐渐增加,OTS将自动调整数据分区(partitionsplit/merge)以满足应用业务规模的增长,并保持稳定的性能。OTS为应用程序配置表上的资源提供了预留读写吞吐率的机制。应用程序通过积极配置和调整表上预留读写吞吐率来应对业务访问量的变化,从而获得更有保障的服务。 高可靠性:OTS数据存储在底层分布式文件系统中,数据有三份副本,分别位于不同的容错区域(框架或数据中心),当硬件故障导致数据备份损坏或丢失时,分布式文件系统会自动发现、复制和恢复数据备份,以确保数据的安全性和可靠性。OTS系统会自动检测硬件故障(如机器停机或网络中断),实时迁移数据分区,保证服务的高可用性。 性能可预测:OTS服务底层采用全SSD存储数据,单行数据读写请求的延迟保持在几毫秒。应用程序通过配置预留读写吞吐率来预留资源,以确保请求并发量和延迟的稳定性。 灵活的数据模型:OTS表中的数据没有固定的格式要求,每行列数和列名可以不同,列值支持五种数据类型:Integer、Boolean、Double、String、Binary。每行列可动态增加或删除,不需要额外修改schema。 与最终一致性相比,OTS提供了强一致性的读写操作。一旦OTS确保数据写入操作完成并返回成功结果,应用程序可以立即读取最新数据。强一致性为应用提供了更好的使用体验。 访问安全:OTS对应用程序的每个请求进行身份验证和权利评估,以防止非法用户或未经授权的用户访问数据,并确保数据的安全。OTS通过与阿里云RAM服务相结合,为应用程序提供帐户之间的授权访问。 全托管服务:OTS是应用程序的全托管服务。应用程序不需要关注表中数据分区的管理、集群硬件维护、软件升级、配置更新和优化、集群扩展等繁琐的操作和维护任务,节省了应用程序开发和维护成本,使用户能够专注于应用程序业务层的开发。 按量支付:OTS根据应用预留和实际使用的资源进行收费,不需要在业务发展初期投入太多。对于很多创业开发人员来说,起步门槛低。OTS费用包括:1)预留CU费用;2)数据存储费用;3)下行流量费用。 2.系统架构OTS服务的系统架构分为四层,最上层是应用程序,通过调用各种语言的SDK与OTS服务互动;第二层是用户服务层,完成协议处理、身份权限验证、资源测量和后端存储引擎节点路由;第三层是存储引擎层,负责表分区的扩展和管理、负载平衡、存储数据和索引的管理、故障处理和高可用灾难容忍;下层为飞行操作系统,负责管理底层硬件资源,提供统一的分布式存储(盘古)和计算(伏西)。 以下三层运行在阿里云数据中心的物理集群上,对应用程序透明,顶层是用户程序,通常在阿里云ECS服务器上运行,以获得更好的访问OTS性能,当然也可以在用户自己的物理服务器或移动设备上运行(我们目前正在开发移动OTSDK,包括Android和iOS)。 3.功能介绍 以下RESTfulAPI提供OTS产品: 1)CreateTable(创建表);2)DeleteTable(删除表);3)ListTable(列举表);4)DescribeTable(获取表信息);5)UpdateTable(更新表设置);6)GetRow(读一行);7)PutRow(插入一行);8)UpdateRow(更新一行中的数据);9)DeleteRow(删除一行);10)BatchGetRow(批量读取行数据);11)BatchWriteRow(批量写入行数据);12)GetRange(读取范围内的数据); Java///Python/C#SDK/PHP四种语言,基于OTS的应用方便快速开发应用。有关API/SDK的更多信息,请参考:https://docs.aliyun.com/?spm=5176.383723.9.6.BASvKj#/pub/ots 4.场景案例; OTS服务目前广泛应用于阿里巴巴集团的各种业务中,积累了几个PB数据,最大的应用程序每天都会写入100TB级数据,几个典型的业务场景如下: 阿里云电子邮件的后台存储:电子邮件的标题、发件人、收件人、时间、状态等(不包括电子邮件文本和附件)。根据各种规则,使用OTS表对用户的电子邮件进行排序,并在页面上阅读电子邮件,数据量近100TB,。 后台存储:存储用户通讯录、实时消息推送、电话会议实时通知等。 后台存储:存储用户通讯录、实时消息推送、电话会议实时通知等。 阿里云监控的后台存储:存储大量的原始监控metric数据和汇总数据。 支付宝微贷款风险控制存储:存储淘宝买卖双方的信用风险控制数据,评估每笔华北交易的风险 阿里健康药品监管码存储:存储中国药品监管码,查询药品基本信息,跟踪药品流通情况。目前,存储量已达到近1000亿条记录,平均每天访问100亿次。 此外,OTS作为大规模分布式系统的基本组件,应用于阿里巴巴集团的多个产品架构,如大规模数据分析服务ODPS的meta存储和管理、大规模日志服务SLS的底层存储等。PS:阿里云计算有限公司(以下简称“阿里云”)成立于2009年9月10日,致力于打造云计算基础服务平台,为中小企业提供大规模、低成本、高可靠的云计算应用和服务。飞天开放平台(以下简称“飞天平台”或“飞天”)是阿里巴巴云自主开发的公共云计算平台,2011年7月28日在http提供服务://www.aliyun.首款云服务-弹性计算服务com正式上线。飞天平台中包含的模块可分为以下几部分。分布式系统底层服务:提供分布式环境、远程过程调用、安全管理和资源管理所需的协调服务。这些底层服务支持上层分布式文件系统、任务调度等模块。分布式文件系统:提供大量、可靠、可扩展的数据存储服务,收集集群中各节点的存储能力,自动屏蔽软硬件故障,为用户提供不间断的数据访问服务;支持增量扩展和数据自动平衡,提供类似POSIX的用户空间文件访问API,支持随机读写和附加写作。任务调度:为集群系统中的任务提供调度服务,并支持强调响应速度的在线服务(OnlineService)离线任务强调数据吞吐量的处理(BatchProcessingJob);通过错误重试、长尾作业并发备份作业等方式,自动检测系统中的故障和热点,确保作业稳定可靠地完成。集群监控和部署:监控集群状态和上层应用服务的运行状态和性能指标,报警和记录异常事件;为运维人员提供整个飞行平台和上层应用的部署和配置管理,支持在线集群扩建、缩减和应用服务的在线升级。
推荐阅读
- 对零售数字化的8点见解
零售对于我们来说并不陌生,它是一个非常专业的领域,近几年出现了数字化的概念,数字化是一项专业的技能,将零售与数字化结合就是一个新的概念,做零售数字化需要有专业的思想,需要有专业人才做后盾,要走专业化发展之路,零售数字化不是提一个概念制定一个…查看详情
- 企业电商系统开发有两种方式,但都需要重视4点
企业电商系统开发时,需先对产品、市场和用户做定位,不仅需要从自身情况和实际需求出发,还需要考虑用户需求和痛点,再由以上结论确定一个最佳的开发方案,最终再去考虑开发模式及重视开发电商系统几大要点。 图片来源于网络 ● 根据开发方案,企业电商…查看详情
- 2022国内好用的免费建站系统有哪些?
现在做网站市面上有很多的免费建站系统,这些建站系统能满足基本的建站需求,下面万商云集小编给大家来介绍下2022国内好用的免费建站系统有哪些。 1、论坛社区程序:Discuz! Discuz是一款非常强大的社区建站系统。目前大部分的论坛或…查看详情
- 抖音IP属地怎么关闭?
随着目前很多平台都要显示ip属地了,对于一些问题大家都还不明白,今天就和大家来聊一聊。很多人对于这一块不是很熟悉,下面小编就给大家来详细介绍一下抖音IP属地怎么关闭这一块的内容,希望能帮助到大家。 抖音IP属地怎么关闭 这一次的显示…查看详情
- 打造直播电商之都,广州代运营市场需求或将上升?
代运营主要是为传统企业升级线上渠道提供运营推广服务,运营范围涉及到构建、营销、推广、物流、客服、客户等全套供应链。专业的代运营企业具备营销、产品、客服等全方位的知识体系,能够帮助企业有效提升运营销售业绩。在杭州提出打造“直播电商第一城”之后…查看详情
- 影响网站开发的收费因素有哪些?
网站开发多少钱?影响网站开发的费用的因素有很多,如果自己公司有技术做,那这网站比较便宜,如果找网站建设公司来说,那这费用要会贵一些,加上现在市面上网站建设公司太多,各家报价又不一样,那到底网站开发是怎么收费呢?这主要是根据企业的需求而来,不…查看详情
- 微信群发软件哪个好 十大微信群发软件推荐
微信现在作为一款社交工具,其实在微信的生态下也是一款营销工具,下面万商云集小编就给大家来介绍一下微信群发软件哪个好 十大微信群发软件推荐,希望能帮助到大家解决相关问题。 1.微信消息群发助手 微信消息群发助手,一般又称微信消息群发。微信…查看详情
- 2021最新7款适合餐饮收银系统排名
中国的餐饮行业规模巨大,而专门针对餐饮行业研发的餐饮收银系统更是数不胜数。餐饮行业规模,模式的不同也导致不同的餐饮企业需要选择不同的餐饮收银系统。接下来就为大家介绍一下2021最新7款适合餐饮收银系统排名。 1、甩手掌柜餐饮收银系统 甩手掌…查看详情
- 分享一个成功的crm客户管理系统案例
越来越多企业使用crm客户管理系统,也取得了显著的成效,今天小万就来分享一个crm客户管理系统案例,一起来了解下crm系统对企业的帮助。 图片来自网络因为李宁业务十分庞大,所以对于使用crm系统其功能也需要同样庞大。根据其业务需求进行了针对…查看详情
- 2022年引流推广效果好的app
随着社交电商的不断发展壮大,行业竞争是异常激烈的,各企业会多方面寻求宣传的方式来扩展自己的营销领域,今天万商云集小编就给大家详细介绍下2022年引流推广效果好的app,希望下面的内容能帮助到你解决运营推广问题。 1、小红书 首先,第…查看详情
- 让移动办公成为现实的视频会议软件合集
视频会议系统是网络视频会议必备工具,视频会议软件让商务人士一直热切期盼的移动办公成为现实,真正实现随时随地参加会议。小编为大家整理了视频会议软件合集,这些视频会议软件免费版高质量的语音和视频,同步参与在线文案讨论,双向视频功能让用户更好的参…查看详情
- 自己如何建设网站 最详搭建流程交给你
目前市面上有不少开源的CMS系统,可以快速搭建一个网站,但是延展性、安全性、功能适配性肯定没有按需求开发的性能好。所以下面主要介绍不使用开源CMS系统搭建网站的过程。自己如何建设网站?在做网站之前首先要找好网站的定位,确定好网站要服务哪一部…查看详情
- 【工作知识产权】劳动关系期间,相关作品的权利归属
工作中涉及到的知识产权,这里暂且称为“工作知识产权”。在工作知识产权中有三个相近的概念,分别是一般职务作品、特殊职务作品和职务发明创造,这三者都是在企业与员工的劳动关系期间产生的作品。本文就三者的权利归属问题进行简单罗列。 图片来源于网络一…查看详情
- 国外8款真正免费erp系统良心推荐
对于各企业而言,寻找一款好用的erp系统并非一件容易事,找到一款免费好用的erp系统更不简单,今天搜集了8款免费erp系统推荐给大家,来看看国外这些erp系统是否适合你。1.ApacheOFBiz免费erp系统 是一款成熟的开源ERP系统,…查看详情
- 运营方法丨网络运营的方法及网络运营学习平台
很多互联网行业的人会说,互联网(网络)不只是一种工具,但对大多数的人而言,尤其是企业而言,互联网就是一种工具。一种让企业经营模式发生改变,将销售和服务从线下拓展到线上,将产品销售路径从线下发展到线上的工具。不论是工具还是当成工具使用,网络运…查看详情
猜你喜欢
最新文章
扫码二维码
立即领取《千元实战营销秘籍》
还可免费试用营销管理系统
*如有疑问,请随时拨打免费咨询热线:400-0033-166
服务时间:8:30-18:00
软件企业
认定号:川RQ-2018-0216
高新技术企业
认定号:GR201951001121
关注微信公众号
和10万中小企业共同成长
扫码下载APP
享全方位服务一触即达
Copyright © 2004-2022 万商云集(成都)科技股份有限公司 版权所有 蜀ICP备12001963号-2 川公网安备 51010402000322号
快速找产品
找一找哪款产品适合您?
咨询热线:400-0033-166
免费查找信息保护中请放心填写-
-
电话沟通
在线咨询
获取方案
下载APP
官方微信
扫码下载APP
全方位服务一触即达
关注万商云集
和10万中小企共成长
TOP
企业首选的数字选用平台