谈谈阿里系的技术积累

喧嚣的双 11 促销活动已经结束,淘宝、天猫、支付宝等阿里旗下的网站在当天爆发出惊人的能量,让人瞠目结舌:全天总交易额达到 191 亿,其中天猫132 亿,淘宝 59 亿,支付宝日订单数量超过一亿笔。金额已经超过美国去年”网购星期一”最高纪录,当然也超过今年的黑色星期五的 10.42 亿美元。尽管大淘宝在促销开始的时候服务稍有不稳定,但整天下来服务堪称可靠。这是个值得称赞的成就。 从另一个角度看数据,峰值数据是每分钟 89678 笔交易,峰值时刻一分钟超过 1700 万人民币的交易额,对比之下,eBay 披露的数据是每秒钟 2500 美元(峰值或许会更高一些)。但经此一战,可以说,阿里系在电商领域上的技术积累的确是全球独步了。

阿里系能达到今日的技术积累,绝非一朝一夕之功,依笔者个人的看法,以下几个先决条件素不能不提:

第一,支付宝、淘宝团队在大规模分布式事务(Transaction) 处理能力上多年来的技术积累,这份经验相当宝贵;

第二,在 2009 年,阿里巴巴骨干传输网 ABTN (Alibaba Backbone Transmission Network) 的建成为整个阿里系子公司的网络服务能力提供了网络基础保障,这也是国内第一家运营商级别的电子商务骨干网;

第三,以开源领域技术专家,LVS 项目创建人章文嵩先生加盟淘宝为标志,淘宝在底层基础设施上的技术能力大幅提升,章带领的基础核心软件研发团队基于 LVS 实现高性能负载均衡组件,构建了强大而且高效的 CDN 系统,CDN 系统大量采用低功耗服务器( GreenCompute.org ),绿色节能;

第四,硬件带来的红利。固态硬盘(SSD) 与 PCI-E Flash 等硬件组件技术已经足够成熟并被大规模应用,为数据库服务器处理能力提供了硬件层面上的支撑能力,可以更加灵活部署,成本更低,不必再像过去那样单纯依赖于小型机与高端存储的支撑。

第五, 在 2008 与 2009 年大刀阔斧的系统结构改进,比如外界所知道支付宝的 SOA 化,淘宝五彩石项目等,最近两三年仍然在做精细化的提升,但是总结架构没有太大的变动。

第六,淘宝技术团队对运维能力的掌控与技术积累(为防止阿里云掠美,必须要说一下此事与阿里云无关,各自是独立的团队) ,具备相当灵活的分配调度硬件以及网络资源的能力。或许有人会指摘限流的问题,要知道,对系统限流的能力也是技术实力的体现,以前的几次大促活动中某银行网管因为对流量控制措施不当,直接导致核心设施不可用,造成了非常大的负面影响。

在 2010 年与 2011 年的两次双 11 促销活动中,技术团队积累了足够的运维与运营经验,能够有针对性的进行全面准备,而且,通过过去几次”压力测试”,也促使国内银行系统对于网银网关处理能力进行了扩容与改造,否则,按照今天的交易量,各家银行网关也无法承载如此大的支付请求的冲击。

阿里技术团队这几年来,在开源软件研发上进行了很大的技术投入,比如在 MySQL 数据库研发与部署实践上,已经能够有实力解除对 Oracle 数据库的依赖,而本次活动中,最核心的MySQL集群一天共支持了 20 亿个事务,MySQL 核心数据库顶住了每秒钟 10 万次事务、百万次 SQL 执行(不过支付宝最核心的数据库依旧是在 Oracle 数据库 上,淘宝天猫的核心库已经在 MySQL 上)的压力;在 Java 核心技术上的技术投入,针对业务特点优化定制的 JVM (TaobaoJVM) 已经在淘宝、天猫等网站上线,全部替换了 Oracle(Sun) 官方 JVM 版本,成果显著,并已经逐步反馈到开源社区中去;再比如淘宝在 Nginx 基础上改进的 Web 服务器 Tengine … 此外,淘宝根据电子商务业务自行研发的各种关键组件,比如流控与防攻击模块等,也对这次成功大促起到了很好的保障作用。技术团队在开源软件领域的投入取得了惊人的回报,现在来看,此乃相当有前瞻性的举措,值得肯定。阿里技术团队正在试图掌控整个网站体系中的所有组件的核心技术,这将是一个趋势。

最后,技术的背后,最关键的还是人和团队。阿里巴巴数年来在电子商务技术领域领域吸引了不少业界技术专家,如王文彬,章文嵩等,造就了一批顶尖技术牛人,也培养并且储备了一大批技术人才,锻炼了一个有实战经验有战斗力的技术团队。正是这一批踏实肯干的技术人使得这一切成为可能。

后记:或许有人说这是在神话或者神化淘宝技术团队,应该说,以上只是客观事实。国内想跟淘宝同台竞技的团队,更应该反思一下到底差距在哪里,哪些地方可以借鉴并且少走一点弯路。

延伸阅读: 纽约时报:12306 该向淘宝学什么?.

EOF

此文已经刊发于《创业家》杂志 2013. 1 月刊.

此文位于 Review on by .
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

再见,Movable Type; 你好, WordPress

总算有点空闲时间,把个人站点从 Movable Type 迁移到 WordPress 了。

坚持用 MT 好多年了,从 2004 年 12 月份开始启用(refer),一直用到到现在,早期的 MT 程序优雅,静态发布功能深受好评,尤其是我这样的用户,当时站点托管在 Dreamhost 上,因为 CPU 不给力,每次 Rebuild 都要遇到几十次 500 才能通过,但那个时候写东西真有热情。现在用 Linode,计算资源都快赶上几年前的标准服务器了,无需再担心 CPU 资源,但是写的东西反而少了。说了好几回准备迁移,迟迟没动的原因是确实很不舍得,但 MT 现在真的不如 WP 方便,况且 WP 的插件众多,不断进步,我也不抱残守缺了,拥抱变化一回。

旧的站点内容都在,URI 变更为: http://mt.dbanotes.net ,现在还会有少量 404 错误,我将尽快调整完毕。访问速度应该和原来差不多。不会慢多少。

再好的东西也会被 超越,真是让人无可奈何。最近几年 MT 几乎没什么建树。只有日本那边开发社区还算活跃。中文社区连用户现在都屈指可数了。

现在用的 WordPress 模板是系统自带的,能够较好的自动适配移动( iPhone/iPad )设备的访问,为适应中文字体的显示,我进行了一定程度的修改。接下来准备启用一下 CDN 的服务,由 又拍云 赞助支持。 服务器是 Linode 的 VPS,IDC 在日本东京。

目前的配置大致是:LEMP + Redis ,512 兆内存,实测 250 人并发访问,负载仍然非常低。启用 Redis 参考文章

这篇参考文章有一个瑕疵,需要在 Nginx 配置文件中单独对 /wp-admin/ 指定一下 index.php 文件. 类似如下:

location /wp-admin {
    index  index.php;
}

再见,Movable Type; 你好, WordPress.

EOF

此文位于 SiteLog on by .
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

2012 年个人总结

本年度的最后一天,个人惯例,度过元旦的方式是做一下过去一年的个人总结。回顾了一下去年的总结和计划,检查完成度。监督一下自己。

先说说工作。2012 年丁香园发展到了一个新阶段。总体来说,公司最近几年还是比较稳健的,这个行业需要慢功夫。也有人说我们也是慢公司,我个人觉得这个称谓有些过奖了,我们的确快不起来,只是一直在进步而已。今年团队的工作重心之一是移动互联网上。如果说去年一年是丁香园从传统的 Web 1.0 模式升级到了 2.0 版本,那么今年则是从 2.0 版本进行了全面的移动化。从 Web 到 Mobile Web 再到 App , 全力推进。从实践上看,团队绝大多数同事已认识到了响应式设计的重要性,但是细节运用上还是有所欠缺。相比医疗互联网这个领域我们已经走在了前面,包括跟国外的同行相比也不逊色,但是跟互联网领域的相比,还是做得不够。

除了技术团队之外,我也开始带一下产品团队,这两个团队加在一起的规模已经超过了 50 人,对我自身也是不小的挑战。下半年在团队管理上有些过于松散,这就难免有些地方会照顾不到。新的一年,这种情况我相信会有所改变。今年另一个工作重心是提升运营能力,提升运营意识,现在回顾一下,做得还不够好。有待在新的一年有实质性的提升。团队做事情开始有方法了,已在团队中逐渐运用了精益思维,但还远远不够。另外,我个人尝试了一些运营手段和方法,小有收获,会不断的分享给同事们。

今年基本上没怎么关注经济上的问题。或许以后也不会关注了。唯一值得一提的是花了一点钱改善了一下生活环境,暂时这样,够用了就好。需要更多心思做事情,而不是花更多心思赚钱。或许这是人到中年的感悟? 没错,真的是人到中年了,需要抓紧了。有一种时不我待的恐惧感,我们从出生之后不就已经开始奔向死亡么? 总要做点有价值的事情才是。

这一年,从阅读中得到不少乐趣,我过几天会整理一个书单。几天不上网,不看网上的信息,不会觉得缺少什么,但是如果长时间没有书读则无法想象。有些书读完会有这样的感觉「如果几年前读到这本书就好了」, 但是网上的信息错过也就错过了,基本上不会有太大的遗憾。我期待新的一年自己能有耐心多读几本书,应该会的。

这里全年没怎么更新几篇文章,倒是有一阵子许下愿心,说要给几家媒体写点东西,后来真正操作起来却不尽如人意。我的原意是期待给媒体供点稿件,到时候我们需要报道的时候是不是方便一些? 如意算盘打的有问题,其实不是这样。零零散散写了一点东西吧,多是口水文章,这几天有空整理一下,不过这些文字既无真知又无灼见,想来也是没什么价值的,说来也惭愧。倒是无心插柳的微信帐号「小道消息」得到了一些肯定。这是怎么回事,我也没弄明白。

今年出门参加的行业会议并不多,除了类似 QCon 这样的纯技术型的会议,和一两次去还人情要站台的会议,其它时间几乎没出门。明年计划就不参加各种会议了。九月底一个人去了一次美国,参加 Oracle Open World 的会议,说来惭愧,其实就是顺路去玩的,每次去都有新的体会,别有收获。值得一提的是,因为看美剧的缘故,顺路去了一次恶魔岛(Alcatraz)。这也是本年度唯一一次带有旅游性质的出行。明年估计就没机会了。

朋友们的创业项目,有的走上正轨,有的卖掉了,有的放弃了,有的在坚持… 这一年,创业路上都挺坎坷的。祝愿他们早日将理想实现,虽然这个冬天有点冷,但春天或许也要来了。

家庭生活上,开始有了新的希望,这让我很期待新的一年。

我的 2012 榜单:

  • 年度致敬:医生们… 这个社会没有医生会怎样? 但愿明年能够少一点医患冲突;
  • 年度媒体:微信,我正在尝试微信作为新媒体工具的各种可能性;
  • 年度图书:The Lean Startup 精益创业;
  • 年度视频:任剑涛教授2012年瑞信年会演讲;
  • 年度电影:少年派的奇幻漂流 Life of Pi;
  • 年度音乐:窦唯《口音》.

2013 年的 TO-DO List:

寻觅人才. 丁香园技术团队仍然需要各方面的人才:
1) 增长黑客(Growth Hacker)
2) 搜索技术开发者
3).对数据敏感的运营达人
4) 移动应用开发高手. 长期招聘,人数上不受限制。如果你认可丁香园做的事情,想做点对这个社会真正有价值的东西,请考虑加入我们的团队。

以数据为中心的运营. 我们还有大量的数据没有体现出应有的价值,运营上也一直有所欠缺,对数据的重视程度还远远不够。新的一年,团队会进一步以数据为中心进行运营尝试。数据是 2013 年的关键词。

产品研发. 其实这个不能透露太多,不过重点是移动产品研发,除了「用药助手」「家庭用药」这些还会又更多 App 发布,有面向专业群体的,也会有面向大众的。其它方面,网站自身建设还要加强。

生活体验. 调整身体,多多体验生活。我现在很喜欢「体验」这两个字。 最后,祝愿朋友们在新的一年更好的实现个人价值,做的事情更有意义,同时也让自己和家人生活得更好一些。

致谢:感谢各位朋友们一年来在技术和行业经验上给我的帮助,让我和团队同事们都受益匪浅,感谢来到丁香园做分享的各位朋友,代表团队感谢你们!

EOF

这里有我的一份针对互联网的 2013 预测,供娱乐吧。还可以微信搜索「WebNotes」,关注「小道消息」,我个人业余时间运营的一个帐号。大家都说这个「小道消息」还算有趣,我基本同意。 Updated:

2012 荐书清单

再见, IE 6

两年前,我写过从国内 IE 6 的市场份额说开去,抱怨了一下,一切皆有可能,现在中国大陆 IE 6 市场份额终于大幅度降下来了,年底有可能降到 20% 以下。 无论如何,对前端工程师来说,这是一大好消息。

IE6.png
(refer)

这张图体现的其实是中国互联网跟世界的某种差距吧。遗憾的是,业内媒体似乎对这些都不太关心。

这次,360 的确做了一件好事。不管动机是什么,起码这个结果是好的。很久以前我说过一句玩笑话「内容审查、GFW、带宽差费用高、IE 6 已经成为制约中国互联网进一步发展的四大障碍」,现在 IE 6 的制约即将消除,接下来会是什么呢?

我不知道。你说呢?

EOF

此文作者:, 位于 Review 分类 标签: , on .
转载须以超链接形式标明文章原始出处和作者信息及版权声明.