阿里云如何利用云存储OpenStorageService来满足大规模的图片读写需求？

如今，几乎任何网站、Webapp和移动app都需要图片显示功能，这对图片功能从下到上都非常重要。图片服务器必须有前瞻性的规划。图片的上传和下载速度非常重要。当然，这并不意味着NB架构非常好，至少具有一定的可扩展性和稳定性。虽然有各种各样的结构设计，但我只是在这里谈谈我的一些个人想法。 IO无疑是图片服务器最严重的资源消耗。对于web应用程序，图片服务器需要分离，否则图片服务器的IO负载很可能会导致应用程序崩溃。因此，特别是对于大型网站和应用程序，有必要将图片服务器与应用程序服务器分离，建立独立的图片服务器集群，建立独立的图片服务器的主要优势：1）分享Web服务器的I/O负载，分离消耗资源的图片服务，提高服务器的性能和稳定性。2)可专门优化图片服务器——为图片服务设置有针对性的缓存方案，降低带宽网络成本，提高访问速度。3)通过增加图片服务器，提高网站的可扩展性，提高图片服务的吞吐量。 从传统互联网的web1.0，到当前的web3.0，随着图像存储规模的增加，图像服务器的架构也在逐渐改变。以下主要讨论了三个阶段图像服务器架构的演变。  在初始阶段介绍初始阶段的小图片服务器架构之前，让我们先了解NFS技术。NFS是NetworkFilesystem的缩写，即网络文件系统。NFS是Sun在不同的机器和操作系统之间通过网络开发和开发的文件。NFSserver也可以看作是FILESERVER，用于共享UNIX系统之间的文件，可以很容易地挂载(mount)在目录中，操作起来像本地文件一样方便。 NFS是最简单的文件共享方式，如果你不想在每个图片服务器中同步所有图片。NFS是一个分布式客户机/服务器文件系统。NFS的本质是用户之间的计算机共享。用户可以连接到共享计算机，并像访问本地硬盘一样访问共享计算机上的文件。具体实现思路如下： 1)所有前端web服务器通过nfs挂载3个图片服务器export的目录，以接收web服务器写入的图片。然后[图片1]服务器将另外两个图片服务器的export目录挂载到本地，为apache提供外部访问。2)用户上传图片，用户通过Internet访问页面将上传请求post提交到web服务器，web服务器将图片复制到相应的mount本地目录。3)当用户访问图片时，用户可以通过[图片1]这个图片服务器读取相应mount目录中的图片。 上述结构存在的问题：1）性能：当图片服务器的nfs服务器出现问题时，现有结构过于依赖nfs，可能会影响前端web服务器。NFS的问题主要是锁定问题.容易造成死锁，只能通过硬件重启来解决。特别是当图片达到一定的量级时，nfs会出现严重的性能问题。2)高可用性:只有一台图片服务器提供下载，容易出现单点故障。3)可扩展性:图片服务器之间依赖过多，横向扩展空间不够。存储：Web服务器上传的热点无法控制，导致现有图片服务器空间占用不平衡。5)安全:对于有web服务器密码的人，nfs模式可以随意修改nfs内容，安全级别不高。 当然，图片服务器的图片同步不能使用NFS、ftp或rsync。如果使用ftp，每个图片服务器将保存一个图片副本，并起到备份的作用。但缺点是将图片ftp转移到服务器需要时间。如果使用异步同步图片，则会有延迟，但一般的小图片文件也可以。使用rsync同步，当数据文件达到一定量级时，每次rsync扫描都需要很长时间，也会带来一定的延迟。  在开发阶段，当网站达到一定规模，对图片服务器的性能和稳定性有一定的要求时，上述NFS图片服务架构面临挑战，严重依赖NFS，系统单点机容易出现故障，需要升级整体架构。于是出现了上图服务器架构，出现了分布式图片存储。 具体思路如下:1)用户将图片上传到web服务器后，web服务器处理图片，然后将图片post通过前端web服务器到[图片1]、[图片2][图片N]其中一个，图片服务器收到post的图片，然后将图片写入本地磁盘，并返回相应的成功状态码。前端web服务器根据返回状态码确定相应的操作。如果成功，处理生成各尺寸的缩略图和水印，并将图片服务器对应的ID和相应的图片路径写入DB数据库。2)当我们需要调整上传控制时，我们只需要修改web服务器post到达目的图片服务器的ID，就可以控制上传到哪个图片存储服务器。相应的图片存储服务器只需要安装nginx，并提供python或php服务来接收和保存图片。如果不想打开python或php服务，也可以编写nginx扩展模块。3)用户访问页面时，根据要求图片的URL到相应的图片服务器访问图片。如：http://imgN.xxx.com/image1.jpg 现阶段的图像服务器架构增加了负载平衡和分布式图像存储，可以在一定程度上解决并发访问量高、存储量大的问题。F5硬负载可以在有一定财力的情况下考虑，当然也可以考虑使用开源LVS软负载(缓存功能也可以同时打开)。此时，访问并发量将大大提高，服务器可根据情况随时部署。当然，这个时候也有一些缺陷，就是很多Squid上可能会有同样的图片，因为访问图片的时候可能会第一次分到Squid1，LVS过期后可能会第二次访问Squid2或者其他东西。当然，这种少量的冗余完全在我们的允许范围内。在系统架构中，二次缓存可以使用squid，也可以考虑使用varnish或traficserver。cache开源软件的选择应考虑以下几点 1)性能:varnish本身的技术优势高于squid，采用“VisualPageCache在内存利用方面，技术，Varnish比Squid有优势，它避免了Squid在内存和磁盘中频繁交换文件，其性能高于Squid。varnish不能cache到本地硬盘。varnish不能cache到本地硬盘。通过varnish管理端口，还可以使用正则表达式快速、批量地清除部分缓存。nginx是由第三方模块ncache制成的缓冲，其性能基本达到varnish，但nginx通常作为架构中的反向(现在有很多静态文件使用nginx，并且可以支持2000 ）。在静态架构中，如果前端直接面对CDN活着前端的四层负载，则使用nginxcache就足够了。 2)避免文件系统缓存。当文件数据量非常大时，文件系统的性能非常差，如squid和nginxproxy_store,proxy_cache等缓存方式，当缓存量级上升时，性能将无法满足要求。开源traficserver直接用裸盘缓存是不错的选择。淘宝主要用于国内大规模应用和公布，不是因为做的不好，而是因为开源时间晚。Trafficserver在Yahoo内使用了4年以上，主要用于CDN服务，CDN用于分发特定的HTTP内容，通常是静态内容，如图片JavaScript、CSS。当然，用leveldb等做缓存，我估计也能达到很好的效果。 3)稳定性:squid作为老强队的缓存，稳定性更可靠。从我身边一些用户的反馈来看，varnish偶尔会出现crash。Trafficserver在雅虎目前使用期间没有已知的数据损坏，其稳定性相对可靠。事实上，我期待着Traficserver在中国拥有更多的用户。       上述图片服务架构设计消除了早期NFS依赖和单点问题，平衡了图片服务器的空间，提高了图片服务器的安全性，但另一个问题是图片服务器的水平扩展冗余问题。如果只想存储在普通硬盘上，首先要考虑物理硬盘的实际处理能力。是7200转还是15000转，实际表现差别很大。至于选择xfss的文件系统、ext3、ext4或reiserfs，需要进行一些性能测试，从一些官方测试数据来看，reiserfs更适合存储一些小图片文件。在创建文件系统时，还应考虑Inode问题，选择合适大小的inodesize，因为Linux为每个文件分配一个称为索引节点的号码inode，可以简单地将inode理解为一个指针，它总是指向文件的具体存储位置。文件系统允许的inode节点数量有限。如果文件数量过多，即使每个文件都是0字节的空文件，由于节点空间耗尽，系统最终也无法创建文件。因此，有必要选择空间和速度，构建合理的文件目录索引。  阿里云存储服务在云存储阶段阿里云存储服务(OpenStorageService，OSS)是阿里云提供的海量、安全、低成本、高可靠的云存储服务。用户可以通过简单的REST接口在任何时间、任何地点上传和下载数据，也可以使用WEB页面管理数据。OSS还提供Java、Python、PHPSDK，简化用户编程。基于OSS，用户可以建立基于大规模数据的服务，如多媒体共享网站、网盘、个人企业数据备份等。以下图片中的云存储主要以阿里云的云存储OSS为切入点，上图为OSS云存储的简单架构示意图。 真正的“云存储”不是存储，而是提供云服务。使用云存储服务的主要优点如下：1）用户不需要了解存储设备的类型、接口、存储介质等。2)不需要关心数据的存储路径。3)无需管理和维护存储设备。4)无需考虑数据备份和容灾5)简单访问云存储，享受存储服务。  1)KVEngineOSS中的Object源信息和数据文件都存储在KVEngine上。VEngine将在6.15版本中使用0.8.6版本，并使用OSSFileClient提供OSSS。 2)Quota本模块记录了Bucket与用户的对应关系，以及Bucket资源在几分钟内的使用。Quota还将为Boss系统提供HTTP接口查询。 3)安全模块安全模块主要记录User对应的ID和Key，并提供OSS访问的用户验证功能。 OSS术语名词汇 1）AccessKeyID&AccessKeySecret(API密钥)当用户注册OSS时，系统将为用户分配一对AcceskeyID&AccessKeySecret，称为ID对，用于识别用户，并为访问OSS进行签名验证。 2)ServiceOSS为用户提供了一个虚拟存储空间，每个用户可以在这个虚拟空间中拥有一个到多个bucket。 3)BucketBucket是OSS上的命名空间；Bucket名在整个OSS中是独一无二的，不能修改；每一个存储在OSS上的Object都必须包含在某个Bucket中。一个应用程序，比如图片共享网站，可以对应一个或多个bucket。一个用户最多可以创建10个bucket，但每个bucket中存储的object的总数和大小没有限制，用户不需要考虑数据的可扩展性。4)Object在OSS中，用户的每个文件都是Object，每个文件小于5TB。object包含keyyect包含key、data和usermeta。其中，key是object的名字；data是object的数据；usermeta是用户对object的描述。使用方法非常简单，如下javasdk：Javacode复制内容到剪贴板OSSClientent ossClient = new OSSClient(accessKeyId,accessKeySecret);  PutObjectResult result = ossClient.putObject(bucketna