制作《阿凡达》特效的超级计算机

大导演詹姆斯·卡梅隆的旷世巨作《阿凡达》(AVATAR) 好评如潮，观众无不被片中呈现的美轮美奂的画面所震撼。电影惊人的动画效果由 Weta Digital 公司制作，我们可以从这篇 Processing AVATAR 了解到一点关于制作该片特效的超级计算机的情况。

Weta Digital 的计算集群在 2008 重新进行了设计，采用了 HP Cluster Platform 3000BL 集群平台作为其解决方案，操作系统是 Linux ，在 TOP 500 超级计算机中排名也从最初的 400 多上升到了 190 多名(refer)。这套环境在 2008 年的时候是 4096 个 Core，到 2009 年增加到 5936 个(refer)，而不是所说的 40000 个 (refer，我猜测是笔误)，在 TOP 500 超级计算机中一度排名第一的 IBM 的走鹃（Roadrunner），也不过才 12 万个核而已。

总内存有 104 TB，内联采用的是万兆以太网，没有使用 Infiniband 。BL2x220c 是惠普面向高性能计算推出的刀片服务器，其独到之处是一个刀片内放两台服务器，每服务器有两个 4 核 CPU，用的是 Intel Xeon 处理器(支持 EM64T 技术)。

整部电影大约 3 PB 的数据存放在 BlueArc 和 NetApp 的存储上，数据传输走光纤通道。电影完成时一帧的数据是 12 MB，一秒钟 24 帧，每分钟的数据就有 17.28 GB，而整部 AVATAR 长达 160 多分钟。我想不会有哪个人在自己的 PC 上有这么样的一部电影吧，恐怕也是没办法播放的。

Weta Digital 大有来头，这是彼得·杰克逊（Peter Jackson）创建的公司，因为给《指环王》制作特效而受到业界瞩目，其实还有不少电影，比如《金刚》《机械公敌》以及前不久的《2012》，也都是由 Weta Digital 制作的特效。不知道我们国内的导演有没有创建过类似的公司，当然，我相信他们对动画特效的运用与理解恐怕还差得很远。

计算机集群能力的提升从一定程度上推动电影艺术的发展，对电影来说，电影越来越好看，票价也是越来越贵。而因为摩尔定律依然有效，计算机集群的运算能力是逐年提升的，成本反而下降，只要能取得更震撼的视觉效果，剧情不太白痴，投入产出似乎倒也是一笔明白账。

–EOF–

编程要趁早

在阅读 Coders at Work 这本书的时候，发现一个有趣的现象：成名的程序员，都是在很早的时候就进行编程了。

读这本书是从 Brad Fitzpatrick（Memcached的作者）的采访开始的，因为整本书里面他最年轻，Brad 在 1980 年出生，能够跻身一群业界技术前辈中间是非常惹眼的，他什么时候开始接触计算机？5 岁。整本书里面采访的一些程序员，也多半都是在高中之前就接触计算机并且被 0 和 1 的世界所吸引。国内现在仍活跃的一些顶尖程序员，比如云风、章文嵩，也都是很小的时候就开始接触计算机（而实际上很多资深的程序员在一起，几乎都会谈到 Apple II，这是一代 IT 人的技术启蒙之门）。

从很小的时候开始接触计算机，并且对计算机产生兴趣的话，那么到了上大学的时候，可能已经积累了 10000 小时的实践经验，意味着他已经跑在很多同行的前面。而如果对计算机接触较晚的话，那么发现了自己的兴趣之后自然要投入大量时间去进行实践，也就是我们经常读到的那些国内第一代程序员的典型故事：整天泡在机房蹭机器，通宵达旦。最近这个 10000 小时的说法因为《异类》这本书的火爆而再次流行起来。就我个人的理解，类似写程序、下围棋之类的事情要实践的量达到一定程度才会产生质变。

“二十岁不成国手，终生无望”，用在计算机这个领域或许有点绝对，毕竟大卫·卡特勒这样的牛人在 20 多岁才开始折腾计算机的，国内也有王江民 39 岁学计算机的励志故事。不过不要忘了，那是什么时代? 此一时，彼一时。看这本Coders at Work 至少能够警示我们，其实没那么多天才，大家眼中的天才也都是经过数年的苦功夫才熬出来的。

另外一个有趣的现象是会发现这本书里面受采访者的父母有很多也都是理工科出身的，孩子在很小的时候就耳濡目染接触到很多技术方面的信息，对于以后的投身 IT 行业有一定影响。从这一点来说，国内很多家长望子成龙心切，硬逼着孩子去整天上什么音乐舞蹈之类的学习班其实对孩子的成长没啥太大的帮助，除非有兴趣才会达到足够的练习实践时间，否则孩子自己也会疯掉的。

–EOF–

又及：有伟人说，”计算机要从娃娃抓起”。要我看更好一点的做法应该是，把计算机早点扔给娃娃。

2009 年个人总结

每年的年终总结是个有趣的事情，没有回顾，也就不会有进步。虽然过去几年制定的计划完成情况都不是百分百完成，但却的确对个人起到一点作用。

看一下 2008 年底制定的 2009 个人计划：

2009 年的 TO-DO List 完成情况

翻译一本书 和同事合作翻译 Troubleshooting Oracle Performance，中文版叫做《Oracle性能诊断艺术》已经面市。这本书的翻译用了不少时间与精力，也有收获，这是最后一次翻译图书。
写一本书. 没有完成，图书翻译让我倒了胃口，一鼓作气，再而衰，三而竭。说的就是这样的情况吧。
提高团队声望. 还算可以。对外团队宣传有了一点影响力，为公司招募了几位技术牛人。当然，这多少也是吃力不讨好的事情，但自己个人感觉很欣慰。
提升技能. 做了一个项目，技术功力恢复了一些，当然，重要的是感觉与理解力。对新技术的追踪还算过得去。
技术交流. 参加的交流有一些，但个人的演讲技巧没什么提升，只能说做的一般般。

计划中的几件事情看起来都是很难体现价值的事儿，”如果你觉得有价值，就去做，不必在意别人怎么看”，公司老大的这句话给我了不小的启发。除此之外，我还做了哪些事情? 方便说的大致有这么几件：

贝塔咖啡. 我还记得是在元宵节的晚上，白鸦给我打电话，说咖啡馆的成立会议就要开始，要我马上赶到。但是运河边人山人海，没办法立刻赶回去，我说算我默认参加就行了。有些事情，一步步做下来就会成，感谢几位靠谱的朋友，没想到贝塔咖啡真让我们几个捣鼓起来了。在咖啡馆，我结识了更多的朋友，开拓了眼界。谢谢白鸦、思践、坏人、小斌。这件事情还要感谢很多朋友，感谢你们的信任与支持。
一次旅行. 10月份，一个人去了一趟美国。无人同行的一路也是很有趣的。第一次发现在一个完全陌生的环境里，从不同的角度看问题，静静的考虑一些事情。在杭州，很少有这样的场景让自己思考。
一个团队. 从下半年开始，受到召唤回到原来的团队，换了一个角色去做事情。有很大的难度。原来自己越不愿意做的事情要去做，越觉得没有价值的事情要做出价值。这是一次磨练。
一次投资. 尝试着做了一次投资，具体细节不好细说，总之帮助别人也是帮助自己。不过这里的投资不是买什么股票之类的事情，那样的事情实在无趣，不是我要的生活。

这一年下来，痛风对我的困扰小了许多。不过，生活上，自己还是个比较懒惰的人。Blog 文章少了一些，但也有100多篇。

我的 2009 榜单：

年度致敬：花剌子模信使。
年度媒体：Twitter，140字的智慧、力量与乐趣。
年度图书：《软件随想录》。有些想法可以做到和别人不一样…
年度运动：翻墙。能够促使积极思考，接近真相。
年度技术：Open Source。开源，那些看似神秘的东西不再封闭，去中心化有了进一步的可能。

2010 年的 TO-DO List （越来越不好写了，稍微写点儿)：

做好事情. 以前自己越不屑于做的，其实也是越不容易做好的事情，执行力需要提高；
接点地气. 多琢磨一点客户都需要什么东西，能给客户带去什么，对客户有价值才是自己价值的体现；
学习英语. 英语不过关将来能干点什么呢? 起码得能捣鼓几句口语吧?
集中精力. 收敛一点心神，事情要一件一件做；
拥抱变化. 到三月份，我就在杭州五周年了，生命中最有激情的五年已经用在了电子支付这个领域。或许，有点改变会出现…希望…

寄语2010：或许，你和我都需要收起一点抱怨，多一些忍耐，现在还不是我们展示力量的时候。

最后，祝愿朋友们在新的一年有新的收获。

–EOF–

磁盘的 4K 扇区时代来临

Western Digital 在推进一项技术变革，Advanced Format(PDF)，将延续近30年的硬盘传统的512字节扇区变更为4K大小。

传统的格式如下图，绿色部分为 ECC (Error Correcting Code)区域。一般来说，每存储1000位(bit)的数据就会有产生一个物理错误，所以必须要有一个可靠的校验机制。这也是 ECC 必不可少的原因。

Legacy Architecture.jpg

每 512 字节用一个 ECC 区，占用 40 字节做错误矫正代码，这在需要存储大数据量的时候，显而易见是比较大的物理空间开销。而将扇区扩大，使用一个相对比较大的 ECC 区也是同样可以达到安全存储的目的。

Advanced Format Architecture.jpg

如果使用 4K 的扇区，则大约需要 100 个字节的 ECC 区域就行了。空间收益大约是 7-11% 。对于存储工业来说，这是惊人的。当初设计硬盘规格的时候，估计研发者是无法预见到信息如此迅速膨胀的今天的，512 字节已经不太适应现在一个平均 I/O 的大小。

值得注意的是，这个变更更多是在空间上的收益，在性能上的收益还不确定，当然不会变得更差，至于是否有提高，能提高多少，要看具体的场景。另外，也不会提高硬盘的可靠性，每 12.5TB 的数据依然会有一个不可恢复的读错误。(refer) 。4K 扇区其实在数年前就被提出来，只是最近 Western Digital 才真正的推动，估计是因为磁盘容量要保证每年的增长率带来的压力。

使用该技术对或许企业级服务器用户并不会有什么太大的风险，Western Digital 同时也在固件层提供对传统的 512 byte 扇区的模拟方式。另外，也可以下载这个官方校正工具。对于个人用户来说，多少还是有点影响的，尤其是使用克隆软件安装 Windows XP (Windows 5.x )以及更低版本的操作系统的用户可能要注意一下。

4K 是个有趣的数字，还记得 4K偏移量的问题么？

未完，待补充 …