谈谈阿里系的技术积累

喧嚣的双 11 促销活动已经结束,淘宝、天猫、支付宝等阿里旗下的网站在当天爆发出惊人的能量,让人瞠目结舌:全天总交易额达到 191 亿,其中天猫132 亿,淘宝 59 亿,支付宝日订单数量超过一亿笔。金额已经超过美国去年”网购星期一”最高纪录,当然也超过今年的黑色星期五的 10.42 亿美元。尽管大淘宝在促销开始的时候服务稍有不稳定,但整天下来服务堪称可靠。这是个值得称赞的成就。 从另一个角度看数据,峰值数据是每分钟 89678 笔交易,峰值时刻一分钟超过 1700 万人民币的交易额,对比之下,eBay 披露的数据是每秒钟 2500 美元(峰值或许会更高一些)。但经此一战,可以说,阿里系在电商领域上的技术积累的确是全球独步了。

阿里系能达到今日的技术积累,绝非一朝一夕之功,依笔者个人的看法,以下几个先决条件素不能不提:

第一,支付宝、淘宝团队在大规模分布式事务(Transaction) 处理能力上多年来的技术积累,这份经验相当宝贵;

第二,在 2009 年,阿里巴巴骨干传输网 ABTN (Alibaba Backbone Transmission Network) 的建成为整个阿里系子公司的网络服务能力提供了网络基础保障,这也是国内第一家运营商级别的电子商务骨干网;

第三,以开源领域技术专家,LVS 项目创建人章文嵩先生加盟淘宝为标志,淘宝在底层基础设施上的技术能力大幅提升,章带领的基础核心软件研发团队基于 LVS 实现高性能负载均衡组件,构建了强大而且高效的 CDN 系统,CDN 系统大量采用低功耗服务器( GreenCompute.org ),绿色节能;

第四,硬件带来的红利。固态硬盘(SSD) 与 PCI-E Flash 等硬件组件技术已经足够成熟并被大规模应用,为数据库服务器处理能力提供了硬件层面上的支撑能力,可以更加灵活部署,成本更低,不必再像过去那样单纯依赖于小型机与高端存储的支撑。

第五, 在 2008 与 2009 年大刀阔斧的系统结构改进,比如外界所知道支付宝的 SOA 化,淘宝五彩石项目等,最近两三年仍然在做精细化的提升,但是总结架构没有太大的变动。

第六,淘宝技术团队对运维能力的掌控与技术积累(为防止阿里云掠美,必须要说一下此事与阿里云无关,各自是独立的团队) ,具备相当灵活的分配调度硬件以及网络资源的能力。或许有人会指摘限流的问题,要知道,对系统限流的能力也是技术实力的体现,以前的几次大促活动中某银行网管因为对流量控制措施不当,直接导致核心设施不可用,造成了非常大的负面影响。

在 2010 年与 2011 年的两次双 11 促销活动中,技术团队积累了足够的运维与运营经验,能够有针对性的进行全面准备,而且,通过过去几次”压力测试”,也促使国内银行系统对于网银网关处理能力进行了扩容与改造,否则,按照今天的交易量,各家银行网关也无法承载如此大的支付请求的冲击。

阿里技术团队这几年来,在开源软件研发上进行了很大的技术投入,比如在 MySQL 数据库研发与部署实践上,已经能够有实力解除对 Oracle 数据库的依赖,而本次活动中,最核心的MySQL集群一天共支持了 20 亿个事务,MySQL 核心数据库顶住了每秒钟 10 万次事务、百万次 SQL 执行(不过支付宝最核心的数据库依旧是在 Oracle 数据库 上,淘宝天猫的核心库已经在 MySQL 上)的压力;在 Java 核心技术上的技术投入,针对业务特点优化定制的 JVM (TaobaoJVM) 已经在淘宝、天猫等网站上线,全部替换了 Oracle(Sun) 官方 JVM 版本,成果显著,并已经逐步反馈到开源社区中去;再比如淘宝在 Nginx 基础上改进的 Web 服务器 Tengine … 此外,淘宝根据电子商务业务自行研发的各种关键组件,比如流控与防攻击模块等,也对这次成功大促起到了很好的保障作用。技术团队在开源软件领域的投入取得了惊人的回报,现在来看,此乃相当有前瞻性的举措,值得肯定。阿里技术团队正在试图掌控整个网站体系中的所有组件的核心技术,这将是一个趋势。

最后,技术的背后,最关键的还是人和团队。阿里巴巴数年来在电子商务技术领域领域吸引了不少业界技术专家,如王文彬,章文嵩等,造就了一批顶尖技术牛人,也培养并且储备了一大批技术人才,锻炼了一个有实战经验有战斗力的技术团队。正是这一批踏实肯干的技术人使得这一切成为可能。

后记:或许有人说这是在神话或者神化淘宝技术团队,应该说,以上只是客观事实。国内想跟淘宝同台竞技的团队,更应该反思一下到底差距在哪里,哪些地方可以借鉴并且少走一点弯路。

延伸阅读: 纽约时报:12306 该向淘宝学什么?.

EOF

此文已经刊发于《创业家》杂志 2013. 1 月刊.

此文位于 Review on by .
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

32 thoughts on “谈谈阿里系的技术积累

  1. Pingback: PDmobile-专注移动产品设计 » 谈谈阿里系的技术积累

  2. 随便谈谈

    舞台很重要, 除了阿里的平台,试想国内哪些公司需要如此巨大的数据系统, 既然无此需求,当然不会大投入去做这样的系统. 所以国外也只有google, amazon这些需要维护海量数据的公司做这方面的东西。所谓时势造英雄, 没有国内电子商务近十年来的迅速发展,和国内特殊商业环境, 也就没有现在的阿里的系统。当然阿里人的努力是大家可以看见的, 但我相信,任何一家公司走到阿里这阶段都能做出这样的系统,应为这是公司发展的需求, 也是唯一能发展道路。

    Reply
    1. Richard

      我觉得不仅是时势造英雄,也是英雄造时势。没有人逼他们,是他们自己找麻烦做双11。如果阿里和淘宝不去推动整个产业链的完善,不去造双十一这种高交易数量的势,阿里也做不到这么强,中国网购也不会发展这么快。

      Reply
    2. abop

      当然从另一个方面,也不是每个公司都能走到阿里这样的阶段,对技术需求的判断,对技术积累的支持,需要远见

      Reply
  3. 随便谈谈

    另外既然谈到ebay的每秒钟 2500 美元,这也只能说明网购在国外不是主流,因为商店的东西和网上价格差别不大(有些东西商店价格还要比网上低),快递价格因为人工原因, 还是很高的(一般都是5到10美刀),不能说明ebay的技术就不行, 所谓“阿里系在电商领域上的技术积累的确是全球独步”有点。。。。。所以商业环境比牛人更重要,技术都是为了解决现实问题的,没有需求,哪家公司会花钱去做, 试想把淘宝当初的技术团队交换到eachnet看看他们现在能做出什么东西,呵呵

    Reply
    1. abop

      当然是因为有需求才会全球独步,并没有说阿里都是技术牛人,只是很多方面技术积累比别人多——正是因为有需求

      Reply
      1. 沈询

        就在做文中提到这些事情的团队– 中间件和核心业务平台:) 收,不过今年要求比较高,如果对自己有信心就可以发邮件。

        Reply
  4. Suley

    很好,国内这样的公司越多越好,只有这样的需求越来越多了,才能培养更多牛人出来。

    Reply
  5. jmchen

    “阿里技术团队正在试图掌控整个网站体系中的所有组件的核心技术,这将是一个趋势。”,这句听得最带感,个人觉得嘛,只有掌控了核心技术才能带来根本性的发展,不然都是跟着别人的脚步走了。

    Reply
  6. 齐明 李

    淘宝的成功,恰恰证明了马云的个人色彩。同时做互联网的,小马哥和Robin却保守很多。国家都提倡开放,更何况公司呢。对开源贡献的越多,回报的也越多

    Reply
  7. nivek

    “不过支付宝最核心的数据库依旧是在 Oracle 数据库 上”
    这个以后会有什么打算吗? 保留目前的状况是基于什么考虑啊?

    Reply
  8. 锐东 蒲

    其实个人觉得淘宝算得上国内技术大牛的群聚地了,基本是方方面面都全了,从Java,MySQL,Nginx这些,还有大数据。。

    Reply
  9. huzijin

    不知道淘宝从哪里招这么多牛人,一下研究mysql源码,一下研究nginx源码,一下又研究JVM源码。各式各样的大牛都能去淘宝,奇了怪了?

    Reply
  10. Pingback: 回应一下阿里巴巴集团的一个以及一群傻B | 小道消息

  11. zywang_dl

    这些数字很惊人,可是为什么我们没有看到一些引导潮流的技术创新呢,类似于mapreduce那样的东西。这些基于开源软件的改进有没有回馈到开源社区呢?

    Reply

Leave a Reply

Your email address will not be published. Required fields are marked *