分类归档: Review

制作《阿凡达》特效的超级计算机

大导演詹姆斯·卡梅隆的旷世巨作《阿凡达》(AVATAR) 好评如潮，观众无不被片中呈现的美轮美奂的画面所震撼。电影惊人的动画效果由 Weta Digital 公司制作，我们可以从这篇 Processing AVATAR 了解到一点关于制作该片特效的超级计算机的情况。

Weta Digital 的计算集群在 2008 重新进行了设计，采用了 HP Cluster Platform 3000BL 集群平台作为其解决方案，操作系统是 Linux ，在 TOP 500 超级计算机中排名也从最初的 400 多上升到了 190 多名(refer)。这套环境在 2008 年的时候是 4096 个 Core，到 2009 年增加到 5936 个(refer)，而不是所说的 40000 个 (refer，我猜测是笔误)，在 TOP 500 超级计算机中一度排名第一的 IBM 的走鹃（Roadrunner），也不过才 12 万个核而已。

总内存有 104 TB，内联采用的是万兆以太网，没有使用 Infiniband 。BL2x220c 是惠普面向高性能计算推出的刀片服务器，其独到之处是一个刀片内放两台服务器，每服务器有两个 4 核 CPU，用的是 Intel Xeon 处理器(支持 EM64T 技术)。

整部电影大约 3 PB 的数据存放在 BlueArc 和 NetApp 的存储上，数据传输走光纤通道。电影完成时一帧的数据是 12 MB，一秒钟 24 帧，每分钟的数据就有 17.28 GB，而整部 AVATAR 长达 160 多分钟。我想不会有哪个人在自己的 PC 上有这么样的一部电影吧，恐怕也是没办法播放的。

Weta Digital 大有来头，这是彼得·杰克逊（Peter Jackson）创建的公司，因为给《指环王》制作特效而受到业界瞩目，其实还有不少电影，比如《金刚》《机械公敌》以及前不久的《2012》，也都是由 Weta Digital 制作的特效。不知道我们国内的导演有没有创建过类似的公司，当然，我相信他们对动画特效的运用与理解恐怕还差得很远。

计算机集群能力的提升从一定程度上推动电影艺术的发展，对电影来说，电影越来越好看，票价也是越来越贵。而因为摩尔定律依然有效，计算机集群的运算能力是逐年提升的，成本反而下降，只要能取得更震撼的视觉效果，剧情不太白痴，投入产出似乎倒也是一笔明白账。

–EOF–

编程要趁早

在阅读 Coders at Work 这本书的时候，发现一个有趣的现象：成名的程序员，都是在很早的时候就进行编程了。

读这本书是从 Brad Fitzpatrick（Memcached的作者）的采访开始的，因为整本书里面他最年轻，Brad 在 1980 年出生，能够跻身一群业界技术前辈中间是非常惹眼的，他什么时候开始接触计算机？5 岁。整本书里面采访的一些程序员，也多半都是在高中之前就接触计算机并且被 0 和 1 的世界所吸引。国内现在仍活跃的一些顶尖程序员，比如云风、章文嵩，也都是很小的时候就开始接触计算机（而实际上很多资深的程序员在一起，几乎都会谈到 Apple II，这是一代 IT 人的技术启蒙之门）。

从很小的时候开始接触计算机，并且对计算机产生兴趣的话，那么到了上大学的时候，可能已经积累了 10000 小时的实践经验，意味着他已经跑在很多同行的前面。而如果对计算机接触较晚的话，那么发现了自己的兴趣之后自然要投入大量时间去进行实践，也就是我们经常读到的那些国内第一代程序员的典型故事：整天泡在机房蹭机器，通宵达旦。最近这个 10000 小时的说法因为《异类》这本书的火爆而再次流行起来。就我个人的理解，类似写程序、下围棋之类的事情要实践的量达到一定程度才会产生质变。

“二十岁不成国手，终生无望”，用在计算机这个领域或许有点绝对，毕竟大卫·卡特勒这样的牛人在 20 多岁才开始折腾计算机的，国内也有王江民 39 岁学计算机的励志故事。不过不要忘了，那是什么时代? 此一时，彼一时。看这本Coders at Work 至少能够警示我们，其实没那么多天才，大家眼中的天才也都是经过数年的苦功夫才熬出来的。

另外一个有趣的现象是会发现这本书里面受采访者的父母有很多也都是理工科出身的，孩子在很小的时候就耳濡目染接触到很多技术方面的信息，对于以后的投身 IT 行业有一定影响。从这一点来说，国内很多家长望子成龙心切，硬逼着孩子去整天上什么音乐舞蹈之类的学习班其实对孩子的成长没啥太大的帮助，除非有兴趣才会达到足够的练习实践时间，否则孩子自己也会疯掉的。

–EOF–

又及：有伟人说，”计算机要从娃娃抓起”。要我看更好一点的做法应该是，把计算机早点扔给娃娃。

磁盘的 4K 扇区时代来临

Western Digital 在推进一项技术变革，Advanced Format(PDF)，将延续近30年的硬盘传统的512字节扇区变更为4K大小。

传统的格式如下图，绿色部分为 ECC (Error Correcting Code)区域。一般来说，每存储1000位(bit)的数据就会有产生一个物理错误，所以必须要有一个可靠的校验机制。这也是 ECC 必不可少的原因。

Legacy Architecture.jpg

每 512 字节用一个 ECC 区，占用 40 字节做错误矫正代码，这在需要存储大数据量的时候，显而易见是比较大的物理空间开销。而将扇区扩大，使用一个相对比较大的 ECC 区也是同样可以达到安全存储的目的。

Advanced Format Architecture.jpg

如果使用 4K 的扇区，则大约需要 100 个字节的 ECC 区域就行了。空间收益大约是 7-11% 。对于存储工业来说，这是惊人的。当初设计硬盘规格的时候，估计研发者是无法预见到信息如此迅速膨胀的今天的，512 字节已经不太适应现在一个平均 I/O 的大小。

值得注意的是，这个变更更多是在空间上的收益，在性能上的收益还不确定，当然不会变得更差，至于是否有提高，能提高多少，要看具体的场景。另外，也不会提高硬盘的可靠性，每 12.5TB 的数据依然会有一个不可恢复的读错误。(refer) 。4K 扇区其实在数年前就被提出来，只是最近 Western Digital 才真正的推动，估计是因为磁盘容量要保证每年的增长率带来的压力。

使用该技术对或许企业级服务器用户并不会有什么太大的风险，Western Digital 同时也在固件层提供对传统的 512 byte 扇区的模拟方式。另外，也可以下载这个官方校正工具。对于个人用户来说，多少还是有点影响的，尤其是使用克隆软件安装 Windows XP (Windows 5.x )以及更低版本的操作系统的用户可能要注意一下。

4K 是个有趣的数字，还记得 4K偏移量的问题么？

未完，待补充 …

企业员工应遵守的 Twitter / 微博准则

在 Twitter ( @Fenng )上发布了几条关于 “员工应遵守的Twitter 准则” 的建议。如果你也是 Twitter (或微博) 用户，以下这几条准则或许可以用来参考：

准则一：不要发布不为公众所知的和公司相关的业务数据。如果要引用公司的公开数据，不要加主观的断言。对于关注你的人来说，小道消息并非那么有价值。

准则二：不要匿名攻击公司(包括自己的雇主和竞争对手)。尽管”在互联网上没有人知道你是一条狗”，但是，雇主还是很容易知道你是公司里面的哪一位。

准则三：Twitter 上的信息具有不可修改性，被转发后会引来不同的解读。所以发布消息前要衡量是否会对同事或团队造成负面影响。如果回答为”是”，不要发布。

准则四：倾听用户的声音，收集用户反馈而不要和用户争辩，如果能够解释，进行必要的解释，但是记住不要推脱责任，尤其不要攻击或是嘲讽用户。

准则五：如果你的主管或同事不能理解或者认可Twitter会对公司带来的价值，向他们解释，同时最好能证明使用 Twitter 并非是在浪费工作时间–用 Twitter 或许比用 IM 更节省时间。

准则六：必要的时候尽可能转发对用户的警示信息，比如”系统维护公告”或”费用调整”等信息应更快更及时的传递给用户。

准则七：团队的内部规划，正在进行的项目及相关实施细节，未经相关负责人允许也尽量不要披露，以免带来各种不可预期的不利影响。

很多人在 Twitter 上发消息，不可避免的会提及自己的雇主。新用户或许意识不到 Twitter 对消息传播的便捷性会带来的破坏力，如果没有一个类似指导原则的话，可能不经意间就会对雇主造成负面干扰，也会给自己带来一定的麻烦。这里的准则或许不能覆盖所有的情况，所以更多的时候要依赖于常识来判断。

如果你在鼓励同事或者朋友来用 Twitter 或者其它微博，要向他(她)说明这些。( 感谢 @hutuworm 同学贡献了准则七)。

–EOF–