深入剖析美团将大数据排序进行优化的架构

随着业务的发展，美团的商家和团购数量正在迅速增长。在此背景下，搜索排名的重要性更加突出：排名优化可以帮助用户更方便地找到满足其需求的企业和团体购买，改善用户体验，提高转化效果。与传统的网页搜索问题相比，美团的搜索排名有自己的特点——90%的交易发生在移动终端。一方面，这对排名的个性化提出了更高的要求。例如，在“火锅”查询下，北京五道口火锅店A对五道口用户U1是一个很好的结果，对望京用户U2不一定是一个很好的结果；另一方面，我们积累了丰富准确的客户行为，分析了用户的地理位置、类别和价格偏好，然后指导个性化排名。根据美团O2O业务的特点，我们实现了一套搜索排名技术方案，比规则排名提高了几十%。基于这个方案，我们抽象了一套通用的O2O排序解决方案，只需1-2天就可以快速部署到其他产品和子行业。目前，在热门词汇中，Suggestion、酒店、KTV等产品及子行业的应用。我们将分别介绍这个通用的O2O排名解决方案，根据在线和离线部分。本文是在线文章，主要介绍在线服务框架、特征加载、在线估计等模块。下一篇文章将重点介绍离线过程。为了快速有效地迭代搜索算法，排序系统设计支持灵活的A/B测试，以满足准确效果跟踪的需要。如上图所示，美团搜索排序系统主要包括离线数据处理、在线服务和在线数据处理三个模块。搜索显示、点击、下单、支付等日志存储在离线数据处理HDFS/Hive上。离线数据流程每天调度多个Mapreduce任务分析日志，相关任务包括:离线特征挖掘输出Deal(团购订单)//POI（商家）、排序模型使用了用户和Query等维度的特征。数据清洗标记&清洁模型训练数据，清除爬虫、作弊等引入的脏数据；标记清洁数据后，用作模型训练。算法效果指标生成统计生成效果报表，指导排序改进。作为排序模型的输入，特征监控特征是排序系统的基础。特征的异常变化会直接影响排序的效果。特征监控主要监控特征覆盖率和价值分布，帮助我们及时发现相关问题。对应于在线数据处理和离线流程，在线流程通过Storm/SparkStreaming等工具分析处理实时日志流，输出实时特征、实时报表和监控数据，更新在线排序模型。在线服务（RankService）接到搜索请求后，RankService将调用召回服务获取候选POI/Deal集合，并根据A/B测试配置为用户分配排序策略/模型，应用策略/模型对候选集合进行排序。下图是RankService内部的排序流程。L1粗粒度排序(快速)使用较少的特征、简单的模型或规则对候选集进行粗粒度排序。L2细粒度排序(慢)对L1排序结果的前N个进行细粒度排序。这一层将从特征库加载特征(Featureloader)，应用模型（A/B测试配置分配)排序。在L2排序的基础上，L3业务规则干预应用业务规则/人工干预适当调整排序。RankService将显示日志记录在日志收集系统中进行在线/离线处理。A在RankServer端完成/B测试A/B测试的流量切分。我们根据UUID(用户标识)将流量分为多个桶（Bucket），每个桶对应一种排序策略，桶内流量将采用相应的策略进行排序。为了保证用户体验的一致性，使用UUID进行流量切分。以下是A/B测试配置的简单示例。复制代码代码如下：{  "search":{    "NumberOfBuckets":100,    "DefaultStrategy":"Base",    "Segments":[      {        "BeginBucket":0,        "EndBucket":24,        "WhiteList":[123],        "Strategy":"Algo-1"      },      {        "BeginBucket":25,        "EndBucket":49,        "WhiteList":[],        "Strategy":"Algo-2"      }    ]  }}非法UUID，每个请求将随机分配一个桶，以确保效果比较不受影响。白名单（WhiteList）该机制可以确保用户使用给定的策略来协助相关测试。白名单（WhiteList）该机制可以确保用户使用给定的策略来辅助相关测试。除了A/B测试，我们还使用Interleaving[7]来比较两种排序算法。与A/B测试相比，Interleaving方法对排序算法更敏感，可以通过更少的样本来比较两种排序算法之间的优缺点。使用小流量的Interleaving方法，帮助我们快速淘汰差算法，提高策略迭代效率。特征加载搜索排序服务涉及多种特征，特征获取和计算是RankService响应速度的瓶颈。我们设计了Featureloader模块，并行获取和计算特征，有效地减少了特征加载时间。在实际业务中，并行特性加载的平均响应时间比串行特性加载快20毫秒左右。在Featureloader的实现中，我们使用了Akka[8]。如上图所示，特征获取和计算被抽象并包装为多个Akkaactor，由Akka并行调度和执行。自2013年9月以来，模型美团在搜索排名中应用了机器学习方法（LearningtoRank），并且获得了很大的利润。这得益于准确的数据标记：用户点击订单支付等行为可以有效地反映他们的偏好。通过特征挖掘和模型优化，我们不断优化搜索排名。以下将介绍我们在特征使用、数据标记、排序算法、PositionBias处理和冷启动问题缓解等方面的工作。特征从美团业务出发，特征选择以用户为主，Query、Deal/POI和搜索上下文四个维度。用户维度包括类别偏好、消费水平和地理位置。Query维度包括Query长度、历史点击率、转化率和类型(商业词/类别词/地标词)等。Deal/POI维度包括Deal/POI销售、价格、评估、折扣率、类别和历史转化率。上下文维度包括时间、搜索入口等。此外，一些特征来自于几个维度之间的关系：用户点击和订购Deal/POI，以及用户与POI之间的距离是决定排名的重要因素；Query和Deal/POI的文本相关性和语义相关性是模型的关键特征。在模型Learningtorank应用中，我们主要采用Pointwise方法。用户点击、下单、付款等行为标注样本。从统计数据来看，点击、订单和支付分别对应于样本对用户需求的不同匹配程度，因此相应的样本将被视为样本，并给予不断增加的权重。各种不同类型的模型在线运行，主要包括：Gradientboostingdecision/regressiontree（GBDT/GBRT）GBDT是LTR中应用广泛的非线性模型。我们开发了基于Spark的GBDT工具，在树拟合梯度时采用并行方法缩短训练时间。GBDT的树被设计成三叉树，作为一种处理缺乏特征的方法。bostingtreee方法可以通过选择不同的损失函数来处理回归问题和分类问题。在应用中，我们选择了更好的logisticlikelihodloss，将问题建模为二分类问题。LogisticRegression（LR）参考Facebookpaper[3]，我们利用GBDT构建一些LR特征。在线训练LR模型采用FTRL算法。对模型的评估分为离线和在线两部分。在离线部分，我们通过AUC（AreaUndertheROCCurve）和MAP（MeanAveragePrecision）通过A/B测试在线评估模型来测试模型的实际效果，这两种方法支持算法的不断迭代优化。在我们的搜索排名系统中，冷启动的问题是，当新企业、新团购订单输入或新用户使用美团时，我们没有足够的数据来猜测用户对产品的偏好。冷启动是商家的主要问题，我们通过两种方式来缓解。一方面，在模型中引入了文本相关性、类别相似性、距离和类别属性，以确保在没有足够显示和反馈的情况下更准确地预测；另一方面，我们引入了Explore&Exploit机制为新商家和团单提供适度的曝光机会，收集反馈数据，改进预测。PositionBias在手机上，搜索结果的显示形式是列表页面，结果的显示位置会对用户的行为产生很大的影响。在特征挖掘和训练数据标记中，我们考虑了显示位置因素引入的偏差。例如CTR（click-through-rate）根据ExaminationModel的统计，我们消除了显示位置的影响。在线总结主要介绍了美团搜索排序系统在线部分的结构、算法和主要模块。在后续的文章中，我们将重点介绍排序系统的离线部分。完善的线上线下系统是排序优化可持续进行的基础。不断挖掘基于业务的数据和模型是不断改进排名的动力。我们还在探索。2、针对美团90%交易发生在移动终端的业务特点，我们实现了一套适合O2O业务的搜索排序技术方案，已应用于许多产品和子行业。在之前的在线文章中，我们介绍了服务框架、排序算法等。本文为线下文章，主要讲述数据清洗、特征矩阵、监控系统、模型训练和效果评估等模块。数据清洗数据清洗的主要工作是为离线模型培训准备标记数据，同时清洗非法数据。数据清洗的数据源主要包括团购曝光、点击和订单。整个数据清洗过程如下：从Hive表中读取序列曝光、点击和订单数据，采用schema处理方法，可根据日志字段名直接提取相应字段，不受日志字段增减的影响。曝光日志存储用户行为的详细信息，包括城市、地理位置、筛选条件和一些行为特征；点击日志主要记录用户点击的POID、点击时间；下单日志记录用户下单的POID、下单时间和金额。数据清洗模块根据配置文件从数据源中提取所需的字段，并进行序列化（Serialization）然后存储在HDFS上。在序列化过程中，如果日志字段非法或单个用户曝光、点击或订购超过设定阈值，则将清理相关日志，以避免数据对模型培训的影响。数据序列化后，在HDFS上保存三份文本文件（Impression）、点击（Click）和下单（Order）。根据globalid(一次搜索的唯一标记，类似于sessionid)和相应的团购id，数据标记模块将曝光、点击和订单联系起来，最终生成一个标记数据，标记是否被点击、下单和支付。同时，这个标注数据携带同时携带