两年前我写道 Yahoo! “应该担心 Doug Cutting 别被 Google 挖去”，现在这个担心成为现实。对”从来就不是一家搜索公司”的 Yahoo! 来说，坏消息是 Doug Cutting 离开了，好消息是他没加入 Google ，也没去微软，而是加入 Cloudera (via)。Cloudera 致力于提供 Hadoop 企业级支持，关心 Hadoop 的人可以松口气，即使 Yahoo! 不再支持这个项目，也还有 Cloudera 接棒呢。
可能所有人都间接用过 Doug Cutting 的作品，他是 Lucene 、Nutch 、Hadoop 等项目的发起人，是他把高深莫测的搜索技术形成产品贡献给普罗大众，某种意义上的盗火者，国内很多网站的搜索引擎都有他的项目的影子。
从此之后，Yahoo! 也可以说自己”再也不是一家搜索公司”了。
–EOF–
微软对 Yahoo! 的收购持久战可能让很多人都新闻疲劳了。但今天看到的这个关于 Yahoo！ 的技术新闻还是值得看一下的：Size matters: Yahoo claims 2-petabyte database is world’s biggest, busiest 。Yahoo! 的 VP Waqar Hasan 在文中披露 Yahoo！的数据仓库当前容量为 2PB。用于分析每月5亿的用户访问行为，每天处理 240 亿次的事件，号称世界上单个最大、最忙的数据库。
尽管有的数据仓库容量要比雅虎的大。但那些 DB 或是存储非关系性数据，或是存储的压缩后的原始数据，不能进行即时分析，雅虎之前的也有数百 T 这样的数据。眼下 Yahoo！数据仓库存储的是结构化、可分析的数据。预计下一年可能膨胀到数十 PB 。eBay 号称数据总量有 6PB ， 不过根据一些消息来看，单个最大的 DB 只有 1.4 PB。
Yahoo! 在 2005 年买了一家叫 Mahat Technologies 的初创公司（就是 Waqar Hasan 操刀的)，这家公司以 PostgreSQL 数据库为基础，开发了一个新型 DB，其特点是 基于列 的而不是 基于行 的模式。不难理解，这样数据写入的速度会慢下来，但是读取的速度会快很多【去年的侠客行上，雷鸣在演讲的时候讲过他在百度的时候做的一个优化的例子。和这个思想非常相似，所以当时我说对我”有启发“】。Yahoo! 买了之后，对该产品进行了持续性的改进(内部代号: ELCARO ?) ，比如压缩，并行处理能力加强、优化查询等等特性的添加改进。而针对使用者的接口仍是 PostgreSQL 。这应该也算 PostgreSQL 在顶级企业又一个成功案例。
这么大的数据库并没有采用传统的 SMP 架构构建，而是采用普通 PC 作集群(用了不到 1000 台) 。很明显这是 Share Nothing 而不是 Share Storage 的 DB 集群。通过上述独特的设计方式，能够对此海量数据进行有效的分析，这是个不小的技术革新，也是与 Google Map Reduce 完全不同的计算模式。
让人感慨的是 关于世界上的超大数据库 一文中罗列的数据，现在看起来已经并不惊人了。以前总说信息爆炸，这个时代刚刚来临。
–EOF–
Yahoo! 发布了一个新的小工具: Yahoo! Shortcuts。该工具旨在加强 Blog 文本内容交互性，似乎只是 Y!Q 的功能延伸而已。目前只有一个针对 WordPress 的插件，对于其他 Blog 发布平台还没有插件推出。看着 WordPress 得到越来越多的支持，我这个 MT 的老用户到真的想转换阵营了。
同样是作为互联网巨头，Yahoo! 的产品发展策略还是比较怪异的。我首先不太理解为什么这么个东西会让雅虎启动这样的二级域名：http://shortcuts.yahoo.com ；另外一个不理解的地方是 Yahoo！ 收购了 MyBlogLog 之后就没什么进一步动作，我的言外之意是 Yahoo! Shortcuts 和 MyBlogLog 的某些功能其实是有些重叠的。
病急乱投医，不是很妙。大块头没智慧，谁都有晕的时候。
–EOF–
旧金山举行的 QCon 会议带给我们很多新鲜的信息。虽然没机会参加，但是看看各个网站”晒架构”也是个比较过瘾的事情。请参观并收藏这个页面：Architectures you’ve always wondered about。
eBay 的架构和去年相比基本是换汤不换药，倒是 Yahoo! 的 Ian Flint(这位老兄是 Bix 的运营总监. Bix 已被雅虎收购) 这个 PPT Yahoo! Communities Architecture: Unlikely Bedfellows 挺有意思，披露了一些鲜为人知的信息。
Yahoo! 社区包括我们比较熟悉的 del.icio.us、Flickr、Yahoo!群组、Yahoo! Mail、Bix等。相当于 Yahoo！把这些属性相近的应用放到一起运营。这个思路倒是和盛大对游戏的运营有些相近。
有两点值得注意：1）层次化 2）模块化。这也是大规模作业下的比较经济的途径。
首先是操作系统已经从 FreeBSD 逐渐迁移到 RHEL。这怕是雅虎不得已作出来的决定吧。FreeBSD 的开发力量的确不如 Linux，这也是不争的事实。数据库上 MySQL 与 Oracle 都有。Yahoo! 在 DW/BI 用的是 Oracle，构建了一个超大数据库。诸如 yapache、yts(反向代理服务器)、yfor(提供快速失败接管)、 ymon（监控），还有还有ysquid、ypan(cpan的 Yahoo! 克隆) 这些组件都是通过 yinst 来统计部署。关于 Yapache，请参考我以前写的 Yapache-Yahoo! Apache 的秘密
这是 Bix 与 DB 有关的部署架构:
数据放在 Netapp NAS 上(所以有的时候应用之慢也可以理解了)，通过快照复制到其他数据中心。
Yahoo! Mail 架构：
这里面居然部署了 Oracle RAC，用来存储 Mail 服务相关的 Meta 数据。非常有趣。
监控工具主要用的是 Nagios，用以监控集群。使用标准插件，另外也有自行定制的插件。Nagios 这东西太棒了。主动、被动检查的消息转发是通过 Ymon 来做到。网管上针对 SNMP 的解决方案是用 Yahoo！自己 Y 字头的 Ywatch。这些 Y 字头的东西基本上外面都是找不到的。Yahoo！的技术其实并不那么开放。Google 在运营这方面也好不到什么地方去。趋势图用 Drraw 展现。Drraw 是基于 RRDtool 的 Web 展现工具。
应用服务器的监控是被动的。整个监控系统模块化部署。Nagios 的警告信息转发到 Ywatch 中心控制台。
Note: 上面所有截图版权都属于 Ian (Image COPYRIGHT@IAN) 。如果去看那个 PDF 文件，你或许比我收获更多。我只是让你知道我的想法而已。
–EOF–