Tag Archives: DBA

eBay 的数据量

作为电子商务领头羊的 eBay 公司,数据量究竟有多大? 很多朋友可能都会对这个很感兴趣。在这一篇
Web 2.0: How High-Volume eBay Manages Its Storage(从+1 GB/1 min得到的线索) 报道中,eBay 的存储主管 Paul Strong 对数据量做了一些介绍,管中窥豹,这些数据也给我们一个参考。

站点处理能力

  • 平均每天的 PV 超过 10 亿 ;
  • 每秒钟交易大约 1700 美元的商品 ;
  • 每分钟卖出一辆车A ;
  • 每秒钟卖出一件汽车饰品或者配件 ;
  • 每两分钟卖出一件钻石首饰 ;
  • 6 亿商品,2 亿多注册用户; 超过 130 万人把在 eBay 上做生意看作是生活的一部分。

在这样高的压力下,可靠性达到了 99.94%,也就是说每年 5 个小时多一点的服务不可用。从业界消息来看,核心业务的可用性要比这个高。
数据存储工程组控制着 eBay 的 2PB (1Petabyte=1000Terabytes) 可用空间。这是一个什么概念,对比一下 Google 的存储就知道了。每周就要分配 10T 数据出去,稍微算一下,一分钟大约使用 1G 的数据空间。

计算能力

eBay 使用一套传统的网格计算系统。该系统的一些特征数据:

  • 170 台 Win2000/Win2003 服务器;
  • 170 台 Linux (RHES3) 服务器;
  • 三个 Solaris 服务器: 为 QA 构建与部署 eBay.com; 编译优化 Java / C++ 以及其他 Web 元素 ;
  • Build 整个站点的时间:过去是 10 个小时,现在是 30 分钟;
  • 在过去的2年半, 有 200 万次 Build,很可怕的数字。

存储硬件

每个供货商都必须通过严格的测试才有被选中的可能,这些厂家或产品如下:

  • 交换机: Brocade
  • 网管软件:IBM Tivoli
  • NAS: Netapp (占总数据量的 5%,2P*0.05, 大约 100 T)
  • 阵列存储:HDS (95%,这一份投资可不小,HDS 不便宜, EMC 在 eBay 是出局者)
    负载均衡与 Failover: Resonate ;

搜索功能: Thunderstone indexing system ;
数据库软件:Oracle 。大多数 DB 都有 4 份拷贝。数据库使用的服务器 Sun E10000。另外据我所知, eBay 购买了 Quest SharePlex 全球 Licence 用于数据复制.

应用服务器

应用服务器有哪些特点呢?

  • 使用单一的两层架构(这一点有点疑问,看来是自己写的应用服务器)
  • 330 万行的 C++ ISAPI DLL (二进制文件有 150M)
  • 数百名工程师进行开发
  • 每个类的方法已经接近编译器的限制


非常有意思,根据eWeek 的该篇文档,昨天还有上面这段划掉的内容,今天上去发现已经修改了:

架构

  • 高分布式
  • 拍卖站点是基于 Java 的,搜索的架构是用 C++ 写的
  • 数百名工程师进行开发,所有的工作都在同样的代码环境下进行

可能是被采访者看到 eWeek 这篇报道,联系了采访者进行了更正。我还有点奇怪原来”两层”架构的说法。

其他信息

  • 集中化存储应用程序日志;
  • 全局计费:实时的与第三方应用集成(就是eBay 自己的 PayPal 吧?)
  • 业务事件流:使用统一的高效可靠消息队列. 并且使用 Cookie-cutter 模式用于优化用户体验(这似乎是大型电子商务站点普遍使用的用于提高用户体验的手法)。

后记

零散作了一点流水帐。作为一个 DBA, 或许有一天也有机会面对这样的数据量。到那一天,再回头看这一篇电子垃圾。
更新:更详细信息请参考:Web 2.0: How High-Volume eBay Manages Its Storage。可能处于 Cache 的问题,好几个人看到的原文内容有差异
EOF

本周浙大阿里巴巴招聘会. 面向应届生招聘 DBA

这个周四开始,阿里巴巴公司会在浙江大学举办面向应届生的招聘会。时间安排:

10月19号 13:30 面试官宣讲 16:00-18:00 笔试
10月20号 9:00-17:00 面试
10月21号 9:00-17:00 面试

这次招聘也有 DBA 招聘计划,阿里巴巴 DBA 团队的技术实力在业界有很高声誉,对新人来说有相对更好的成长环境。举双手欢迎牛人加盟,请关注校园海报。感兴趣的同学填表的时候注明 DBA 意向吧。
此时此刻,非你莫属!
针对毕业生的开发 DBA 职位描述
————-
*) 跟踪、支持开发项目
*) 设计、或根据《数据库设计规范》审核schema
*) 开发、测试环境建立
*) 工程师疑问解答
*) 项目 Webtrace 维护
*) 数据库开发优化与建议
*) 制作《数据库设计说明书》
职位要求:
————-
1. 计算机专业,本科,数学功底扎实
2. 至少精通一门语言;有项目经验;掌握数据库基本理论优先
3. 熟悉 Linux 系统
4. 酷爱技术,勤于钻研
5. 善于沟通和团认合作,诚信。
上面的要求应该会灵活对待。如果因为时间问题没有参加笔试,我想应该还是有机会的,是技术牛人就成 :)
计划中我可能会去参加招聘会。
关于一些评价的信息请参考 论坛上的讨论.
EOF

DBA 的冷幽默

有人在邮件列表里提问,系统表空间文件丢了,没有归档,如何恢复?
来自技术专家 Tim Gorman 的回答:

It’s kind of like voting for president in North Korea. Only one choice — under any circumstances — when in NOARCHIVELOG mode: full database restore from cold backup. There are no options for partial recovery or any recovery at all. NOARCHIVELOG mode = full database restore, no recovery, period. This scenario is no exception.

EOF

此文作者:, 位于 Database 分类 标签: , on .
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

高效能 DBA 的七个习惯

邮件列表中有人推荐了 DMReview 的一篇文章 Seven Habits of Highly Effective DBAs, “高效 DBA 的七个习惯”, 这个题目应该是受了 《高效能人士的七个习惯》一书的启发。虽然颇有拾人牙慧之嫌,还是记录一下吧,就算是自己的学习笔记。”如人饮水,冷暖自知”
在开篇有一个关于什么是个”高效能 DBA” 的定义, 作者指的高效并不是说 DBA 每天都在忙于救火的那种”高效”,而是能够防患于未然.
1. 专业的多面手(Be an expert generalist)
熟知存储、操作系统等领域的知识, 跨平台数据库的技术也是必须要掌握的,不能离开了 Windows 环境到了 Unix 下什么都作不了. 看上去这一点似乎有些苛求,不过个人认为通过持续的学习能力加上良好的知识积累方法会让你无限接近这种能力.
2. 理解来自商业、用户的需求(Understand the business and user expectations).
如何把掌握的数据库知识应用到商业需求上,还不给用户一种“木匠拎着锤子,看什么都是钉子” 的感觉是需要一点艺术的。
3. 通过可量化的度量构建更加正规的服务级别协议(
Build more granular service level agreements (SLAs) via quantitative and easy-to-understand metrics)
用户(或你的老板)对你的数据库管理工作是否满意,总要有一个可以达成一致的地方,这个一致应该来自”服务级别协议”. 服务级别协议是很多 DBA 最容易忽略的一个地方。
4. 把环境分割为更小更易于管理的组成部分(Break down the environment into smaller, more manageable pieces)
一揽子计划不是个好主意,分而治之。这样也容易与委托方达成一致。
5. 关注于任务,而不是实现的细节(Be task-focused, not necessarily on how to accomplish it)
这一点应该是说于开发人员的关系的。DBA 不应该去关注太多程序设计的细节,而应该把注意力集中任务实现上–有效的与数据库交互. (这一点说起来似乎有些勉强,或许站在高效 DBA 的角度上就容易理解了,呵)
6. 隔离并委派普通任务(Segregate and delegate the mundane).
如果从一个技术领导者的角度上说,这是必须的。既然是高效DBA ,那么在没必要事必躬亲拘泥于一些琐碎的事情. 否则再高效也不成.
7. 淘汰特定环境下才可以用的那些玩意儿(Weed out the one-trick ponies)
特定的第三方工具、GUI 工具等只会使得整个环境更为复杂。一个高效的 DBA 应该致力于整个环境的简化与标准化。
说的是 DBA ,其实放到其他工种上也是蛮适合的。
从卓越到优秀,还是从普通到平庸,这是个问题.
EOF