Docker应用方案：美团网站服务器

自动构建系统是美团自动部署系统发展起来的一项新功能。每当开发人员向仓库提交代码时，系统都会根据开发人员定制的构建配置自动启动新的docker容器，其中构建源代码。（build），包括编译(如Java)、C 和Go）、预处理(如JavaScript和CSS)、压缩(如图片)等操作，生成最终需要上线的程序包。美团代码自动部署系统的背景和问题承载着美团所有业务的代码*工作。一开始，基于简单的Bash脚本，代码部署系统通过Rsync和SSH从中央主机传输和执行文件。图1 经过多次演变，代码部署系统架构图代码发布系统增加了许多功能，但原来的中央架构仍然保留下来，见图1。出版商通过Web界面或RESTAPI控制中央控制器。中央控制器负责从Git服务中提取代码，构建应用程序包，然后通过RSYNC将程序包上传到应用集群，并使用SSH执行远程命令。自动部署系统为美团业务的快速发展提供了强有力的支持。由于我们采用开发人员自助上线的方式，发布操作频繁，工作日每天上线数千次。图2是过去15个月每月发布的次数。为了不断优化发布速度，为发布者提供良好的体验，我们将单次发布的平均时间作为发布系统的重要KPI。然而，随着美团业务的快速扩张，服务的增加，应用程序的发布数量也在增加，集中体系结构的问题也得到了突出。问题1：同时进行多项资源竞争建设任务，竞争中控机资源，影响发布速度。有一次，一个应用程序受到Java应用程序同时发布的影响，通常两分钟的发布变成十分钟以上，严重影响发布体验。如果发生事故需要回滚，问题会更严重。问题2：不同的环境冲突应用程序的构建依赖于发布机上的环境，需要考虑环境冲突和隔离。例如，Java1.6/1.7共存，Java版本需要Java_HOME变量指定，Maven2/3也存在同样的问题。npm的global包也需要与多个应用程序的构建兼容。问题3：在公共发布机上运行安全隐患应用的构建脚本，脚本的bug可能会影响发布机的正常运行。例如，某个构建脚本中的sudoservicenginxreload命令应该在应用服务器上执行，但开发人员错误地将其配置到在发布机上执行的构建脚本中。为了解决上述三个问题，我们首先想到的解决方案自然是重构为多台中控机器的横向扩展。但由于某些应用的特殊性，变化比较麻烦，所以一开始并没有走这个方向(现在已经实现了多中控机)。那么另一个想法:能否将施工过程与中控机分离？TravisCI受到这种想法的影响（https://travis-ci.org）的启发。我们从TravisCI中学习，在代码提交过程中自动触发应用程序的构建。因此，我们的解决方案可以概括为以下三点：将构建过程放置在Docker容器中；提交代码时自动触发构建；发布时直接使用构建的应用程序包。使用前配置如下：发布系统配置发布项目（build.yml）；URLLL在Stash配置自动构建服务；定制镜像(可选)上传到私有Dockeregistry。使用过程相对简单，主要有以下步骤：开发人员向Stash提交代码；触发自动构建；根据配置自动构建生成任务；启动Docker服务器上的容器完成构建；将构建好的包上传到美团云对象存储服务（MSS）；发布时从MSS拉软件包并发布。自动构建API将在每次提交代码时触发。在Docker服务器中执行构建任务进入队列。发布时不需要编译，直接拉软件包发布。从图6、从图7中可以看出，已经自动构建的文件在发布过程中直接用于部署。图3 配置图4自动构建 发布系统配置界面图5 自动构建架构图6 自动构建的日志图7 为什么嵌入自动构建日志的发布日志不使用虚拟机？美团的虚拟化比较彻底，虚拟机而不是容器也可以自动构建。但虚拟机与业务有关，会长期保留。二是虚拟机与CMDB的深度结合，创建后将报告基本信息，部署Agent，配置监控项等。此外，虚拟机的创建相对较慢。考虑到以上几点，我们使用Docker而不是虚拟机作为自动构建的基本单元。基于Docker容器的自动构建，解决了资源竞争、环境冲突和安全隐患三个问题。构建任务移出发布机，构建Docker服务器可以横向扩展，解决资源竞争问题。每一个建筑都是独立的镜像，环境冲突问题不复存在。在独立于发布机的Docker服务器上构建脚本，自然消除了发布机造成的安全隐患。除解决上述三个问题外，自动构建还显著提高了发布速度。据统计，自动构建任务的平均执行时间为197s，而自动构建应用的平均发布时间为99s。如果不使用自动构建，这些应用程序的发布时间是197s 99s，大约300秒。由此可见，自动构建将应用程序的发布时间缩短了三分之二。总结自动构建是美团首次应用Docker。这个应用程序不是用Docker来解决代码部署系统中的问题，而是用Docker来解决我们遇到的问题。该应用只使用Docker的核心容器功能，而不使用Docker集群管理、调度、自动扩展等先进功能。Docker非常适合自动构建场景。希望本文能启发计划开始使用Docker的公司。