Docker应用方案：美团网站服务器

自动构建系统是美团自动部署系统发展起来的一项新功能。每当开发人员向仓库提交代码时，系统都会根据开发人员定制的构建配置自动启动新的docker容器，其中构建源代码。（build），包括编译(如Java)、C 和Go）、预处理(如JavaScript和CSS)、压缩(如图片)等操作，生成最终需要上线的程序包。美团代码自动部署系统的背景和问题承载着美团所有业务的代码在线工作。一开始，基于简单的Bash脚本，代码部署系统通过Rsync和SSH从中央主机传输和执行文件。图1 经过多次演变，代码部署系统架构图代码发布系统增加了许多功能，但原来的中央架构仍然保留下来，见图1。出版商通过Web界面或RESTAPI控制中央控制器。中央控制器负责从Git服务中提取代码，构建应用程序包，然后通过RSYNC将程序包上传到应用集群，并使用SSH执行远程命令。自动部署系统为美团业务的快速发展提供了强有力的支持。由于我们采用开发人员自助上线的方式，发布操作频繁，工作日每天上线数千次。图2是过去15个月每月发布的次数。为了不断优化发布速度，为发布者提供良好的体验，我们将单次发布的平均时间作为发布系统的重要KPI。然而，随着美团业务的快速扩张，服务的增加，应用程序的发布数量也在增加，集中体系结构的问题也得到了突出。问题1：同时进行多项资源竞争建设任务，竞争中控机资源，影响发布速度。有一次，一个应用程序受到Java应用程序同时发布的影响，通常两分钟的发布变成十分钟以上，严重影响发布体验。如果发生事故需要回滚，问题会更严重。问题2：不同的环境冲突应用程序的构建依赖于发布机上的环境，需要考虑环境冲突和隔离。例如，Java1.6/1.7共存，Java版本需要Java_HOME变量指定，Maven2/3也存在同样的问题。npm的global包也需要与多个应用程序的构建兼容。问题3：在公共发布机上运行安全隐患应用的构建脚本，脚本的bug可能会影响发布机的正常运行。例如，某个构建脚本中的sudoservicenginxreload命令应该在应用服务器上执行，但开发人员错误地将其配置到在发布机上执行的构建脚本中。为了解决上述三个问题，我们首先想到的解决方案自然是重构为多台中控机器的横向扩展。但由于某些应用的特殊性，变化比较麻烦，所以一开始并没有走这个方向(现在已经实现了多中控机)。那么另一个想法:能否将施工过程与中控机分离？TravisCI受到这种想法的影响（https://travis-ci.org）的启发。我们从TravisCI中学习，在代码提交过程中自动触发应用程序的构建。因此，我们的解决方案可以概括为以下三点：将构建过程放置在Docker容器中；提交代码时自动触发构建；发布时直接使用构建的应用程序包。使用前配置如下：发布系统配置发布项目（build.yml）；URLLL在Stash配置自动构建服务；定制镜像(可选)上传到私有Dockeregistry。使用过程相对简单，主要有以下步骤：开发人员向Stash提交代码；触发自动构建；根据配置自动构建生成任务；启动Docker服务器上的容器完成构建；将构建好的包上传到美团云对象存储服务（MSS）；发布时从MSS拉软件包并发布。自动构建API将在每次提交代码时触发。在Docker服务器中执行构建任务进入队列。发布时不需要编译，直接拉软件包发布。从图6、从图7中可以看出，已经自动构建的文件在发布过程中直接用于部署。图3 配置图4自动构建 发布系统配置界面图5 自动构建架构图6 自动构建的日志图7 为什么嵌入自动构建日志的发布日志不使用虚拟机？美团的虚拟化比较彻底，虚拟机而不是容器也可以自动构建。但虚拟机与业务有关，会长期保留。二是虚拟机与CMDB的深度结合，创建后将报告基本信息，部署Agent，配置监控项等。此外，虚拟机的创建相对较慢。考虑到以上几点，我们使用Docker而不是虚拟机作为自动构建的基本单元。基于Docker容器的自动构建，解决了资源竞争、环境冲突和安全隐患三个问题。构建任务移出发布机，构建Docker服务器可以横向扩展，解决资源竞争问题。每一个建筑都是独立的镜像，环境冲突问题不复存在。在独立于发布机的Docker服务器上构建脚本，自然消除了发布机造成的安全隐患。除解决上述三个问题外，自动构建还显著提高了发布速度。据统计，自动构建任务的平均执行时间为197s，而自动构建应用的平均发布时间为99s。如果不使用自动构建，这些应用程序的发布时间是197s 99s，大约300秒。由此可见，自动构建将应用程序的发布时间缩短了三分之二。总结自动构建是美团首次应用Docker。这个应用程序不是用Docker来解决代码部署系统中的问题，而是用Docker来解决我们遇到的问题。该应用只使用Docker的核心容器功能，而不使用Docker集群管理、调度、自动扩展等先进功能。Docker非常适合自动构建场景。希望本文能启发计划开始使用Docker的公司。