简要总结：京东商城的云计算优先的技术战略

京东云京东作为中国最大的电子商务之一，也在搭建自己的云平台，大部分技术都是自主研发的。为什么不选择现有资源自己研发呢？京东云大数据平台技术负责人廖晓辉表示：“京东整个产业链的电子商务模式在中国是独一无二的。没有成熟的产品可供参考。许多技术问题需要创新的解决方案。只有自主研发才能打造出最适合JD.COM的信息系统。第二，“技术驱动”一直是京东的发展战略。我们自主开发的信息系统和技术积累是京东的核心竞争力之一。但事实上，京东并没有完全独立开发所有系统，也应用了一些开源技术。结合京东自身的业务，解决京东遇到的问题，更好地服务于我们的业务和用户。“JD.COM的云平台包括宙斯、云鼎、移动平台等多个分支。JD.COM打算做这么复杂的云平台的原因是什么？廖晓辉认为，京东云推出的公共云服务都是基于私有云技术的产品。京东自身的业务发展需要稳定、完善的私有云作为基础。在私有云技术产品稳定后，我们对京东生态的合作伙伴和社会开放。云平台是京东技术产业化的先驱。以云技术和云模式构建电子商务云生态，使京东生态中的卖家、合作伙伴和全社会电子商务企业能够享受京东云上的电子商务服务。随着京东的发展，京东的卖家越来越多，所有电子商务平台都存在这样的问题：多个租户共享相同数据库的例子必须需要一个有效的隔离解决方案，以防止用户的慢查询请求或恶意请求影响其他用户的访问。廖晓辉说：“就云数据库而言，京东云提供的服务包括共享数据库和独家数据库。对于一些用户特别关注的资源隔离问题，我们的做法是使用独立的虚拟机器进行部署，或者基于容器技术实现不同级别的资源隔离。“Spark在大数据环境中无疑是惊人的，所以在大数据环境中进行数据分析，更多的人会选择Spark，因为我们都知道它是基于内存计算的，所以处理的数据可能有限。廖晓辉告诉记者：“就spark而言，它出现的时间不长，但发展迅速。它的RDD分布式内存结构概念和容错支持，以及DAG的执行优化，即性能和可靠性，使它非常有吸引力。但在内存有限的情况下，确实会影响其性能。在内存和其他资源的限制下，我们还需要对大量数据进行低延迟处理。在这种情况下，我们可能需要考虑采用类似的计算方法，但如果不能降低计算结果的精度要求，我们可能需要采用增量计算方法：连续对部分增量数据进行累进实时计算，以获得实时计算结果，以满足业务或用户的需求，相当于离线计算全数据，转化为持续增量的计算方法。“数据存储大致有几种类型，如通常的key-value数据库、文档数据库mongodb、列分布式数据库HBase等。JD.COM是如何考虑和选择HBase的？“数据存储大致有几种类型，如通常的key-value数据库、文档数据库mongodb、列分布式数据库HBase等。JD.COM是如何考虑和选择HBase的？廖晓辉书:其实我们用的是各种不同类型的数据库，包括HBase和mongodb。考虑数据访问的计算方法和开发效率，选择哪一种需要结合我们的业务需求。mongodb对各种语言非常友好，并提供了相对丰富的API。当数据量不是很大时，它的数据会有很好的性能。对于HBase来说，它属于Hadoop生态系统中的一种产品。适用于randomacess场景或少数据量scan。随着数据的增长，容易扩展，保持高读写性能；列存储可以提高稀疏矩阵数据存储和压缩的存储效率。我们仍然根据业务需求和数据量的规模，考虑未来的扩张和项目研发效率来选择。传统上，如果使用Hadoopmapreduce框架，可以很容易地实现更复杂的统计需求，但不能保证实时性；相反，如果使用Storm等流动框架，可以保证实时性，但实现需求的复杂性也大大提高了我们。SparkStreaming在两者之间找到了平衡点？廖晓辉回答说：“HadoopMapreduce计算模式实际上降低了并行计算和大数据处理的门槛，适用于高吞吐量的批处理场景。Storm和Spark-Streaming，它们都是流式计算框架。Storm以其低延迟、易扩展、容错机制等特点发展至今已十分成熟，也十分优秀，受到众多互联网公司的青睐。Spark-Streaming基于spark将流量数据分为mini-batch进行连续计算。目前，其处理延迟可能略高，但基本满足实时计算要求，计算转换API丰富，使用方便。Scala虽然用于内部实现，但也支持Java的发展，开发效率还是很高的。此外，我们自己的经验证明了它在生产环境中的稳定性和可靠性。如果比较两者，我个人认为storm适合对实时性要求更高的场合，因为它可以将延迟控制在亚秒级或更低。作为SparkStack的一员，Spark-Streaming对Spark-Streaming的开发非常熟悉；大多数大数据处理需求，不同的workload，SparkStack有相应的技术产品可供选择，以避免维护不同的计算框架。在选择Spark-Streaming时，必须考虑生态系统中的其他产品和开发效率。Spark社区非常受欢迎。今年1.0版出现后，1.1版很快出现，势头非常好。在实际应用中，它也以其出色的性能赢得了越来越多的用户。“双十一过去不久，JD.COM作为中国领先的电商平台，如何保证服务器在双十一期间大量要求和访问而不停机的正常运行？廖晓辉说：“双十一保障是一项有组织、有计划的工作。在双11之前，将有很长的准备时间，估计双11的流量和业务增长，计划扩大在线系统，改进监控，练习可能的异常，并制定计划。在过去的一周里，包括云平台在内的京东研发部将安排人员24小时值班，以解决任何可能出现的在线问题。双十一之后，总结双十一的情况，积累经验，提高系统的稳定性。此外，从服务系统架构层面来看，应设计HA和Loadbalance。如果出现故障，只能降低服务，不能停止服务，可以灵活扩展容量；要有非常及时完善的监控，确保在异常情况下第一时间处理，缩短故障时间。另一个是进一步提供防攻击系统和灾备方案的保障。“介绍JD.COM云中大数据的云服务，您的技术实现，Spark的应用，产品路线和挑战。廖晓辉说：“云海是JD.COM云提供的大数据开放服务，是商家驱动的数据开发平台。商家授权数据和ISV开发相关数据产品，满足商家数据驱动和精细运营的需求。同时，用户也可以上传自己的数据作为京东平台电子商务数据的补充。云海Spark云海不仅提供大数据存储和计算资源，还提供云数据挖掘和开发工作台，涉及交互查询分析、批处理计算、实时计算、机器学习算法工具、在线OLAP分析，涉及Spark相关技术的应用。我们依靠Spark构建高效的计算平台和工具集，旨在使挖掘数据价值的过程更加敏捷，是一套全云解决方案。京东在大数据平台建设、数据驱动业务、数据驱动决策、基于大数据的精细运营等方面都有丰富的经验。这些经验也可以帮助在京东做生意的企业提高运营效率和用户满意度。这种价值输出，通过云海，是团结电力领域期望结合大数据提供数字运营解决方案软件集团，建立以数据为核心的平台，连接业务需求和ISV数据产品服务，同时对ISV数据产品进行一些指导，解决业务的实际问题。在云海的建设过程中，我们遇到了许多挑战，包括大数据处理的技术。对于这类问题，我们还根据Spark进行独立的研发或改进框架本身。同时，我们也在探索数据开放的有效可行的方式。近年来，大数据概念的“热”和大数据在一些互联网公司、电子商务企业和金融领域的应用的示范作用，使各组织越来越重视数据资产。在这个阶段，由于数据的敏感性，数据收集、处理和挖掘主要局限于组织内部。但另一方面，相信很多人都是一样的。在数据网络中，数据连接数据，收集各个领域的数据，开放和共享数据，持续供应，让更多的人和个人有机会及时、方便地分析和挖掘价值，这必然会使数据发挥更大的作用，甚至将社会信息化带到更高的水平。因为这两个方面是为了在数据资产保护和开放之间取得平衡，建立一个可行和可信的数据交换平台，这是可持续的，值得更多的组织和个人探索和合作。京东集团技术副总裁兼首席科学家何刚表示，京东云不仅是云计算，也是整个产业链的云服务。何刚认为，在过去12年的发展中，京东建立了整个产业链的互联网电子商务能力，从供应商到采购、仓库、销售、配送和售后服务都有一套成熟的解决方案。京东希望输出这些技术能力，包括互联网经验咨询服务、互联网基础技术云计算、大数据服务、产品设计、后端核心服务、开发实施等业务信息系统升级建设。并从营销、物流、金融、运营人才等业务资源中形成深度、长期的合作关系，实现企业间数据交换，形成互联网企业生态，实现风险共享和收入共享。在战略层面，京东云包括“全产业链能力输出、形成深度合作关系、共享云计算大数据技术、互联网企业生态发展”四个方面，全面帮助中国企业实现“互联网” ”的升级。在产业链层面，在京东营销、交易、采购、仓储、配送、客户服务、功能、金融等服务的基础上，收集信息流、物流和资本流，提供互联网基础技术（云计算和大数据）、互联网体验输出（战略咨询、商业模式、管理咨询）、电子商务业务资源合作(营销、商品、物流、金融、运营等)，业务信息系统建设升级(系统设计、核心功能模块、开发实施)。产品层面：自动编译、统一监控、统一日志、自动部署等云平台工具运维服务；行业云计算服务、自动扩展部署、离线/在线数据分析、开放API；云数据库、缓存等云托管服务VPC、数据复制、灾难准备、负载平衡、消息队列、云安全；资源服务：云存储、云主机、云网络、计量计费等。目标锁定：农业、制造业、服务业、金融、政务、物流。创新联盟启动：京东云与嘉宝集团、丰创科技、福建茶博汇签订电子商务云合作合同；与首农集团、亚信数据、百度签订数据云合作合同。在未来，更多的传统企业和生态合作伙伴将实现长期稳定的合作。何刚说：“企业的互联网不仅可以停留在商业电子商务的水平上，而且需要将互联网思维和技术结合起来，外部和内部都是深度互联网。“从外部看，商业模式应该采用什么样的电子商务模式？委托代理经营？官网电商化？还是经销商自建模式？如何在营销推广中获得客户流量？如何实现多平台、多渠道的交叉引流？如何在不同渠道统一展示？从企业内部出发，产品和服务的互联网也是标准配置，如产品应用、智能等，从而建立互联网平台和企业生态。京东云可以在这些问题上推出有效的解决方案。对于生态联盟，他补充说：京东已经向政府提出了建议，希望能够从更高的层面建立互联网 京东云也将积极加入联盟，真正帮助更多企业走向“互联网” ”。“京东将以公共云、私有云和混合云的形式开放这些成熟的云计算、大数据和基础技术，为企业、政府和科研机构提供云服务。京东云电子商务云事业部总经理任成元认为这是京东云的互联网 战略的实际意义和价值。值得注意的是，京东基础云由私有云和公有云组成，“京东私有云和公有云由同一技术、同一平台、同一团队组成。京东私有云支持京东集团的各种信息系统。云存储系统稳定支持主站商品图片、订单、物流等200多个系统的运行，京东私有云可实现对流控制CPU、I/精确控制和自动伸缩等资源细粒度。在系统运行方面，利用弹性计算云，服务器的整体利用率提高了10倍，网络访问的平均成本同比下降了60%，运维自动化率也达到了90%以上。京东公共云服务中的云主机服务和对象存储服务（云存储）通过了云服务可信度的权威认证体系，并获得了可信云年度电子商务云服务奖。从京东云产业链服务可以看出，京东云在IaaS、PaaS和部分SaaS已完成布局。例如，京东云可以从销售信息、用户行为、供应链效率、客户满意度和财务数据等方面进行数据采集、挖掘和可视化分析，为用户提供京东数据分析服务能力，满足企业数据分析的需求。京东云首席架构师杨海明对近期业界关注的安全问题表示：