分享支撑StackOverflow运营的网站硬件配置

问答社区网络Stackexchange由Alexa排名第54的Stackoverflow100多个网站组成。StackExchang拥有每月5.6亿PV的400万用户，但只有25台服务器，CPU负荷不高。它不使用云计算，因为云计算可能会减速，更难优化和消除系统故障。Stackoverflow仍然使用微软架构，这是非常实用的。微软的基础设施可以有效地工作，而且足够便宜，没有令人信服的理由需要改变。但这并不意味着它不使用Linux，它在有意义的地方使用Linux。Windows服务器运行的操作系统版本为Windows2012R2，Linux服务器运行Centos6.4。网站数据库MSSQL大小为2TB，全部存储在SSD上。它拥有11台运行IIS的Web服务器，2台运行HAProxy的负载平衡服务器，2台运行Redis的缓存服务器。Stackoverflow是一个IT技术问答网站，用户可以在网站上提交和回答问题。目前Stackoverflow拥有400万用户，4000万答案，月PV5.6亿，世界排名第54。然而，值得注意的是，只有25台服务器支持他们的网站，并保持非常低的资源利用率，这是一场高效率、负载平衡、缓存、数据库、搜索和高效代码的竞争。最近，Highscalability创始人Todhoff根据Marcocecconi的演讲视频“ThearchitectureofStackOverflow以及NickCraver的博文“WhatittakestorunStackOverflow总结了Stackoverflow成功的原因。出乎意料的是，Stackoverflow仍然严重使用微软产品。他们认为，由于微软的基础设施可以满足需求，而且足够便宜，因此没有理由做出根本性的改变。在需要的地方，他们也使用Linux。一切都是为了性能。另一个值得注意的是，Stackoverflow仍然使用纵向扩展策略，而不使用云。他们使用384GB内存和2TBSSD来支持SQLServers，如果使用AWS，成本可想而知。另一个不使用云的原因是Stackoverflow认为云会在一定程度上降低性能，同时也会增加优化和调查系统问题的难度。此外，它们的结构不需要横向扩展。高峰期是一个横向扩展的杀手级应用场景，但他们有丰富的系统调整经验。该公司仍然坚持Jeffatwood的名言——硬件总是比程序员便宜。Marcoceccon曾提到，在谈到系统时，有一件事必须首先理解——需要解决的问题类型。首先，从简单的角度来看，Stackexchange是用来做什么的——首先是一些主题，然后围绕这些主题建立一个社区，最后形成这个令人钦佩的问答网站。二是规模相关。Stackexchange正在快速增长，需要处理大量的数据传输，所以这些是如何完成的，特别是只使用25台服务器，以下是：状态Stackexchange有110个网站，以每月3到4个的速度增长。400万用户800万问题4000万答案世界排名54位，每年增长100%，月PV5.6亿。大多数工作日的峰值是每秒2600到3000。作为编程相关网站，一般工作日的要求会高于周末25台服务器SSD中存储2TB的SQL数据。每个webserver配备2个320GSSD。使用RAID1的每个ElasticSearch主机都配备了300GB的机械硬盘，SSDStackoverflow的读写比为40:60DBServer的平均CPU利用率为10个webserver，IIS2负载均衡器，1活跃，HAProxy4活跃数据库节点，实现tagengine的应用程序服务器采用MSSQL3，所有搜索都通过tag3服务器通过elasticsearch搜索2服务器支持分布式缓存和消息2Networks(Nexus5596 FabricExtenders）2cisco5525-xasas2cisco3945routers主要服务于stackexchangeapi的两个只读SQLServersVM，用于部署、域控制器、监控、运维数据库等场合。——Fast.NETJSONSerializer，基于Sigil的Daper-微型ORMUIUI有一个信息收件箱，用于新徽章获取、用户发送信息、重大事件发生时的信息收集，并由WebSockets支持。通过Elasticsearch实现搜索箱，使用REST接口。搜索箱通过Elasticsearch实现，并使用REST接口。由于用户提出问题的频率很高，很难显示最新的问题，每秒都会出现新的问题。因此，有必要开发一种关注用户行为模式的算法，只向用户展示他们感兴趣的问题。它使用了基于Tag的复杂查询，这就是为什么要开发独立的Tagengine。用于生成页面的服务器端模板。服务器25台服务器未满载，CPU利用率不高，SO单独计算（StackOverflow）只需要5台服务器。除执行备份时，数据库服务器资源利用率约为10%。为什么这么低？因为数据库服务器有384GB内存，webserver的CPU利用率只有10%-15%。纵向扩张还没有遇到瓶颈。在正常情况下，使用这种流量横向扩展大约需要100到300台服务器。简单的系统。基于.Net，只有9个项目，其他系统可能需要100个。之所以使用这么少的系统，是为了追求极限的编译速度，需要从系统开始时进行规划，每台服务器的编译时间约为10秒。与流量相比，11万行代码非常少。使用这种极简主要是基于几个原因。首先，不需要太多的测试，因为Meta.stackoverflow本来就是一个与bug讨论社区的问题。其次，Meta.stackoverflow也是软件测试网站，如果用户发现问题，往往会提出并给出解决方案。纽约数据中心采用Windows2012，已升级为2012R2(Oregon已升级)，Linux系统采用Centos6.4。SSD默认使用Intel330(Web层等)Intel520进行中间层写入。例如，ElasticSearch数据层使用Intel710和S3700系统，RAID1和RAID10(任何4 RAID10用于上述磁盘。即使在生产环境中使用了几千元2.5英寸的SSD，也不怕失败。每个模型使用一个以上的备件，不考虑多个磁盘故障的情况。Elasticsearch在SSD上表现出色，因为SOwrites//re-indexes操作非常频繁。SSD改变了搜索的使用方式。因为锁的问题，Luncene.Net不能支持SO的并发负载，所以他们转向ElasticSearch。在全SSD环境下，不需要围绕BinaryReader设置锁。异地备份-主数据中心位于纽约，备份数据中心位于Oregon。Redis有两个节点，SQL有两个备份，Tagengine有三个节点，elastic有三个节点，一切都是冗余的，同时存在于两个数据中心。Nginx用于SSL，在SSL终止时转换HAProxy。并非主从所有。一些临时数据只会放在缓存中。所有HTTP流量发送仅占总流量的77%。Oregon数据中心的备份和其他VPN流量也存在。SQL和Redis备份主要产生这些流量。数据库MSSQLServerStackexchange为每个网站设置了数据库，所以Stackoverflow和Serverfault等等。在纽约的主数据中心，每个集群通常使用一个主和一个阅读备份配置，并在Oregon数据中心设置备份。如果Oregon集群运行，纽约数据中心的两个备份将只读取和同步。为其他内容准备的数据库。这里还有一个存储登录凭证和聚合数据的“网络范围”数据库(大部分是stackexchangege).com用户文件或API)。CareersStackOverflow、stackexchange.com和Area51都有自己独立的数据库模式。模式的变化需要同时提供给所有网站的数据库。它们需要向下兼容。例如，如果您需要重新命名一个列，它将非常麻烦。这里需要多个操作：添加一个新列，添加两个列上的代码，为新列写数据，更改代码，使新列有效并删除旧列。不需要分片，一切都是通过索引解决的，数据体积也没那么大。如果有filteredindexes的需求，为什么不更有效呢？常见的模式只在DeletionDate=null上做索引，而其他则是指定类型的枚举。每个votes都设置了一个表，比如一个表给postvotes，一个表给commentvotes。大部分页面都可以实时渲染，只是为了匿名用户缓存，所以没有缓存更新，只有重新查询。Scores是非标准化的，所以需要经常查询。它只包括IDS和dates，postvotes表目前约有56454478行，使用索引，大部分查询都可以在几毫秒内完成。Tagengine完全独立，这意味着核心功能不依赖任何外部应用程序。它是一种巨大的内存结构数组结构，专门用于SO用例优化和重负载组合预计算。Tagengine是一种简单的windows服务，在多个主机上运行冗余。CPU利用率基本保持在2-5%，三台主机专门用于冗余，不负责任何负载。如果所有主机同时出现故障，网络服务器将Tagengine加载到内存中并继续运行。与传统ORM相比，Dapper无编译器校验查询。使用编译器有很多好处，但在运行过程中仍然存在fundamentaldisconect问题。同时，更重要的是，由于生成nastySQL，通常需要找到原始代码，而QueryHint和parameterization控制等能力的缺乏使得查询优化更加复杂。编码过程中的大多数程序员都是远程工作。他们选择编码地点进行快速编译，然后运行少量测试。一旦编译成功，代码将转移到开发、交付和准备服务器，通过功能开关将新功能隐藏在同一硬件上作为其他站点进行测试，然后转移到Meta.每天都有成千上万的程序员在使用stackoverflow测试，一个很好的测试环境如果通过就会上线，静态类和方法被广泛应用于更广泛的社区进行测试。为了更简单、更好的性能编码过程非常简单，因为复杂的部分被包装到库中，这些库被开源和维护。.由于使用了一些社区共享代码，Net项目的数量非常低。.由于使用了一些社区共享的代码，Net项目的数量非常少。开发人员同时使用2-3个显示器，多个屏幕可显著提高生产效率。在浏览器、CDN和代理服务器中缓存所有5级缓存1级是网络级缓存。2级由.Htttpruntimenet框架.在每个服务器的内存中，Cache完成。三级Redis，分布式内存键存储，在多个支持同一站点的服务器上共享缓存项。四级SQLServercache，整个数据库，所有数据都放在内存中。5级SSD。通常只有在SQLServer预热后才生效。例如，每个帮助页面都有缓存，访问一个页面的代码非常简单：使用静态方法和类。从OOP的角度来看，它确实很糟糕，但它非常快，有利于简化编码。缓存由Redis和Dapper支持。为了解决垃圾收集问题，模板中的一类只使用一个副本，并在缓存中建立和保存。包括GC操在内的一切监控。据统计，当间接层增加GC压力达到一定程度时，性能会显著降低。CDNHit。鉴于查询字符串是基于文件内容的哈希，只有在新建立时才会再次取出。每天3000万到5000万Hit，带宽约为300GB到600GB。CDN不是用来处理CPU或I/O负载的，而是帮助用户更快地获得答案，每天部署5次，而不是建立太多的应用程序。主要原因是直接监控性能可以尽可能最小化。关键产品建立后，可以通过强大的脚本复制到每个网页层。每个服务器的步骤是：通过