Second Life 升级 MySQL 的案例参考

尽管前一段时间有媒体报道 Second Life 已经悄无声息的衰败,不过林登实验室的人也还是很忙,这不,刚把一堆 MySQL 服务器进行了升级,还进行了详尽的经验总结(Refer)。

原有的 MySQL 都是跑在 4.1 版本上(4.1.11),在 2007 年的时候计划升级到 5.0 版本,不过遭遇到了…嗯,失败。当时的 5.0 版本不够快。被迫回滚。之后中心 DB 一直运行 4.1 的版本,而 Slave 和其它 DB 都逐渐升级到了 5.0.51 的版本。

用 Python 和 RabbitMQ 写了一个支持 MySQL 协议的分布式压力测试框架,该工具用于捕捉产品环境中的流量并在测试环境下回放模拟,以便更加接近系统的真实运行情况。此外,使用了 Maatkit 工具包用于验证 SQL 语法以及数据。

4.1.11 与 5.0.51 的对比测试表明,5.0.51 比 4.1.11 要慢不少,经过与 Percona 的沟通后,决定升级到 5.0.84 。从我几天前这份 MySQL 版本的调查看, 5.0.84 也是目前用户采用比较多的版本。初步测试 5.0.84 的性能和 4.1.11 的性能相差无几,随后测试打了 Percona 与 Google 的补丁的版本,未作调整下收益不大。一些关键的参数需要作调整以便得到更好的 I/O 能力(要注意如果是 SSD 环境下 innodb_read_ahead 参数要做一点调整,16K 还是 32K ? 要测试才知道)。此外,将 Binlog 放到单独的块设备上,得到 10% 的提升。值得注意的是,默认的系统 I/O 调度器不是很适合,切换到 Deadline 后得到了 15% 的提升(参考 I/O 调度器与 DB的关系)。

经过一番折腾,峰值并发达到了14-16k QPS,只用了 80% I/O 能力,而 4.1.11 最高是 8200 QPS,5.0.51 最高 11,500 QPS,看到这里,猜测他们费这么大劲升级也就是要得到更好的并发能力?

然后是对代码的验证上,包括 SQL 在不同 DB 版本上的正确性以及 SQL 运行的效率,后者也就是执行计划稳定性。这两个测试主要是用 Maatkit 来做的。对于后者,我个人觉得他们的验证过程还有点黑盒子,或许应该关注到具体的 TOP SQL 才会更稳妥一些。此外,复制数据的一致性检查也有必要加以重视。

这台中心服务器数据量大约 250GB。当前所用的服务器是 8 核 Xeon E5450 CPU,64GB 内存,400GB 的直连磁盘(RAID 10),接下来有计划表明要迁移到 16 核的机器上,并且将启用 SSD 。

总体来看,对 MySQL 升级的过程其实也不是那么简单的,也要有个方法论与好的方案才会保证最后升级的成功。

–EOF–
延伸参考:Percona 针对 MySQL 5.0.84 的 Patch 说明。

Movable Type 与 WordPress

在几次跳票之后,Six Apart 终于发布了 Movable Type 5。作为少数坚守在 MT 阵地的用户,当然是第一时间升级到新版本进行了一番体验,结果就是这几天正在一点点修改升级后的一些模板上的问题。倒是有活干了。

一点小经验是如果是延续用旧的主题的话,迁移到新的目录后要确保有 “theme.yaml” 这个文件,否则后台点击 Setting 按钮的时候会弹出一个”Can’t call method "label" on unblessed reference” 的错误。多数插件都能继续用,可以打开 MT 的 Debug 模式,然后查看 Plugin 列表,会显示哪些插件兼容性不够好。我觉得用好 MT 的一个秘诀就是…尽量少用插件。

总体来看 MT 新版本的确带来了很大改进,除了增加了版本历史功能外,内容结构的组织有更大的改进,模板的可定制化非常好,是目前能看到的 CMS 平台的登峰造极之作。只是从平台的角度考虑恐怕还竞争不过 WordPress ,我个人觉得语言的实现(Perl vs. PHP)造成了二者在最初发展上的差异,进而导致插件上开发的 Movable Type 远远不如 WordPress 容易,而插件的多寡影响功能的完善与丰富性。用户会接受哪一个不言而明了。另外一个影响因素就是更多的主机提供商对 PHP 的支持更为友好,甚至一些提供商提供一键安装 WordPress 的服务。而 MT 的安装怎么也需要用户懂一点点技术才成。

好的工具才会激发写作的乐趣,MT 属于这样的工具

–EOF–

2009年国内值得关注的初创公司

受邀做2009中文互联网开放式评选(ChinaMode)的观察员,在评审候选网站的时候,我发现,在过去的一年中,或许是经济危机的影响,国内互联网方面的 Startup 并不多。这里回顾一下个人认为值得关注的几个初创公司。

VMKid – 手机虚拟机与无线互联网技术平台

年底的时候,猛犸科技( VMkid.com ) 在杭州 BetaCafe 举办了产品发布会,演示了他们令人心动的手机虚拟机技术以及无线互联网平台解决方案。这是一家颇为神秘的初创公司,甚至官方站点到现在还没有正式对外开放,不过已经得到了阿里集团旗下子公司淘宝的大力支持。创建人在硅谷爬摸滚打了多年,对技术趋势的把握非同一般。相信在 2010 年,这家公司会在业界有不小的动作。

Updated:该公司已经被阿里巴巴收购。

Yupoo — 图片托管解决方案提供商

又拍(Yupoo.com) 虽说是在几年前创建的,不过在 2009 年开始了二次创业。创始团队在 2008 年底被迫离开,到了 2009 年末颇有戏剧性的取回了控制权,宣布再度归来。随后的 Yupoo 进行了一系列的调整,无论是个人摄影爱好者还是电子商务网店用户,都有对应的图片解决方案。年底的时候 51.com 悄然对封锁了图片外链,给不少网店用户带来了恐慌,相信会给第三方图片托管一个很好的发展契机。国内需要有个第三方图片托管服务,期待 Yupoo 接下来会大展拳脚。

DNSPod – 智能DNS解析服务提供商

因为 2009 年 6 月份暴风影音域名解析引起的大规模断网事件让 DNSPod 引起了很多人的关注,也让更多人知道了站长吴洪声,不到半年的筹备后,DNSPod 已经进行了正规的商业运作。依托 DNS 的服务国外有大家颇为熟知的 OpenDNS,而 Google Public DNS 的发布无疑也给了 DNSPod 足够的信心。考虑到国内独特的互联网环境,DNSPod 自然不愁客户。

射手影音播放器 — 一站式多媒体播放工具

射手影音播放器是射手网站长发起的项目,到现在或许还没有进行商业运作,不过谁说一定要商业运作呢? 说起播放器,在国内客户端工具竞争到白热化的今天能做到创新是不容易的,但是射手播放器仍有独到之秘。且不说绿色无广告,依托射手网的字幕资源的「智能下载匹配字幕」功能让用户再也不用担心找不到精确的字幕。这也是 2009 年我唯一新安装的一个桌面客户端工具。

监控宝– 网站性能监控的在线服务

监控宝提供第三方网站运维服务,主要针对网站性能、服务器状态的监控。对于大网站来说,绝大多数都会自荐监控系统。监控宝则有点像服务于初创公司的初创公司,很多还在起步中的网站要么没任何监控服务,要么自己费力做的监控成本太高,这个服务的出现倒是弥补了市场上在这方面的空缺。

在新的一年,在新的互联网形势下,相信创业会更加艰难,不过,寒冬过去才是春天。想到这些,才有希望。

–EOF–

制作《阿凡达》特效的超级计算机

大导演詹姆斯·卡梅隆的旷世巨作《阿凡达》(AVATAR) 好评如潮,观众无不被片中呈现的美轮美奂的画面所震撼。电影惊人的动画效果由 Weta Digital 公司制作,我们可以从这篇 Processing AVATAR 了解到一点关于制作该片特效的超级计算机的情况。

Weta Digital 的计算集群在 2008 重新进行了设计,采用了 HP Cluster Platform 3000BL 集群平台作为其解决方案, 操作系统是 Linux ,在 TOP 500 超级计算机中排名也从最初的 400 多上升到了 190 多名(refer)。这套环境在 2008 年的时候是 4096 个 Core,到 2009 年增加到 5936 个(refer),而不是所说的 40000 个 (refer,我猜测是笔误),在 TOP 500 超级计算机中一度排名第一的 IBM 的走鹃(Roadrunner),也不过才 12 万个核而已。

总内存有 104 TB,内联采用的是万兆以太网,没有使用 Infiniband 。BL2x220c 是惠普面向高性能计算推出的刀片服务器,其独到之处是一个刀片内放两台服务器,每服务器有两个 4 核 CPU,用的是 Intel Xeon 处理器(支持 EM64T 技术)。

整部电影大约 3 PB 的数据存放在 BlueArc 和 NetApp 的存储上,数据传输走光纤通道。电影完成时一帧的数据是 12 MB,一秒钟 24 帧,每分钟的数据就有 17.28 GB,而整部 AVATAR 长达 160 多分钟。我想不会有哪个人在自己的 PC 上有这么样的一部电影吧,恐怕也是没办法播放的。

Weta Digital 大有来头,这是彼得·杰克逊(Peter Jackson)创建的公司,因为给《指环王》制作特效而受到业界瞩目,其实还有不少电影,比如《金刚》《机械公敌》以及前不久的 《2012》,也都是由 Weta Digital 制作的特效。不知道我们国内的导演有没有创建过类似的公司,当然,我相信他们对动画特效的运用与理解恐怕还差得很远。

计算机集群能力的提升从一定程度上推动电影艺术的发展,对电影来说,电影越来越好看,票价也是越来越贵。而因为摩尔定律依然有效,计算机集群的运算能力是逐年提升的,成本反而下降,只要能取得更震撼的视觉效果,剧情不太白痴,投入产出似乎倒也是一笔明白账。

–EOF–