Tag Archives: Data

大数据的商业前景被过分夸大

几乎每天都能看到有人在谈论大数据,让人好生厌烦。什么是大数据(Big Data) ? 简单一点可以理解为超出传统数据管理工具处理能力的大规模、复杂的数据集合(1)。判断是否数据大数据的范畴,要从三个维度来衡量:数据量(Volume)、处理速度( Velocity)以及数据种类(Variety)。

大数据(Big Data) 是 2012 年信息技术领域最时髦的词汇。当然,跟所有曾经的时髦技术热词一样,最后可能是一场骗局。为什么?

大数据是个相对的概念,新瓶装旧酒

有些人所说的大数据处理方式,不过是在既有的方案上包装了一下,新瓶装旧酒,只为赶时髦。今天的大数据可能到了明天算不上大数据。过去我们也曾经对「海量数据」望而生畏。但海量数据时代并没有给多少企业带来革命性的变化,在 MapReduce 以及 Hadoop 出现之前,没有多少企业能够轻松的对数据进行大规模并行计算(奇怪的是,那时候没有多少人提大数据)。而 NoSQL 的出现也为处理数据的方式带来了更多可能性。我们突然发现,处理数据能力已经悄然增强。

大数据是机会,但不是所有人的机会

大数据的商业前景被过分夸大了。到目前来看,只有为数不多的企业真正拥有大数据,而且这些数据的管理、处理、分析并没有带来所谓空前大的挑战。因为新的工具、新的计算方式已经已经具备处理这些数据的能力。

大数据是机会,但只是少数人的机会,更多是巨头们的商业障眼法,比如 IBM 、Oracle、微软,他们提倡甚至夸大大数据的目的还是为了向你兜售他们的工具,兜售他们的解决方案,确切的说,从你身上赚钱。更有甚者,居然是向你兜售硬件,这不完全是扯淡么? 大硬件还差不多。

中小型公司应该绕道走,别唯大佬们马首是瞻,别总去凑热闹。你所需要的东西,通过开源社区就可以获取到,参加各种大佬们口沫横飞的会议还不如和工程师聊聊可以运用什么工具来具体操练一下。「适用」好比什么都重要。创业公司也应该绕着「大数据」走,这未必是个好方向。

大数据的确会有价值,但没有那么大

必须要承认从某些大数据中会挖掘出新的价值,但这个价值只是附加价值,没有理由去夸大他,更没有理由去无端的想象。你可以说这篇沙漠可能有金子,但并不是说沙漠中一定就能挖掘出金子。

从现在业界一些公司拿出来的所谓的大数据应用实例来看,依然只是在利用传统意义上的数据价值,只是巧妙地把这笔帐记在了大数据上而已。一个电子商务网站说「什么地方的人买东西最疯狂」或是「什么型号手机最好卖」,这会是大数据分析的结果,完全是扯淡嘛。难道数据仓库系统分析出来的结果和这个大数据出来的结果会有不同么?

不算结束的结束语

大数据不会是什么「商业模式的变革」,重视大数据,但没必要抱着大数据的大腿,尤其是在业界对于「数据」还不够重视的时候,就更别说大数据了。相信随着时间的推移,大数据这个词会和信息爆炸、网格计算、云计算等逐渐被淡忘,当然,到时候可能出现新的时髦词汇了。

没有大数据,只有数据;没有蓝海,只有大海;没有先知,只有忽悠。

EOF

此文作者:, 位于 Review 分类 标签: on .
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

啤酒与尿布的故事可以休矣

其实到现在我还在怀疑「啤酒和尿布」(Beer and Nappies)故事的真实性。这个故事最开始应该是从一些做商务智能(BI) 的软件厂商那里传出来的,神乎其神。按理说,这个故事应该给超级市场以无限启发才对,可实际上在超市里面观察一下,发现根本没有类似的物品摆放,相近的都很少。更多的时候,「聚类」才是最大的关联性。

「智能」是一回事,凭借经验也同样能推导出所谓的「智能」,比如找一些有经验的人站在收银台观察,应该也能同样总结出所谓的「模式」,成本或许更低。软件有的时候也不过是对真实世界的模拟而已,何况很多时候只是「指哪打哪」似的模拟。

经常在网络上能看到一些人拿着这个故事生搬硬套自己的观点,什么数据仓库啊、数据挖掘、数据分析啊,商务智能啊,甚至什么数据库营销都拉上这个故事来显示所谓的重要性,诚可笑也。在各种的商业场合上,看到太多造出数据从而证明观点的例子了。

国内的互联网应用中,能看到的一个真正有突破的是淘宝以前的推荐系统,用户在搜索婴幼儿智力玩具的时候,关联搜索会出现「孕妇减肥」相关的产品,稍微饶点弯才能发现其中的关联性,而且是真正的关联。这个还是有那么一点智能的意思的(不用去测试了,现在已经发生变化了)。其他如豆瓣、Amazon(中国) 的购物推荐,基本上还是根据「类别」的信息做关联,看似智能,不过是程序帮你更多做了一步。

啤酒和尿布的故事可以休矣,以后可以用「智力玩具与减肥药」了。

EOF

更新,最近看到另一个有趣的例子是有人建议「在线播放器」旁边放「卫生纸」的广告,当然是开玩笑的,不过我觉得比「啤酒和尿布」更接近真实场景一些,至于为什么,宅男估计很容易明白。

这是四年前写的东西,今天重新翻出来更新一下,面对各种以讹传讹的故事,我们还要仔细想想,不要自己骗了自己。

Updated: 后来证实,这个故事的确是编造出来的。信息来源

此文作者:, 位于 Review 分类 标签: , , on .
转载须以超链接形式标明文章原始出处和作者信息及版权声明.

Second Life 的数据拾零

Matrix 似乎提前来到我们身边。从 06 年开始,陆续看到多次关于 Second Life(SL) 的报道。因为自己的笔记本跑不起来 SL 的客户端,所以一直没有能体会这个虚拟世界的魅力。今天花了一点时间,读了几篇相关的文档。
RealNetworks 前 CTO Philip Rosedale 通过 Linden 实验室创建了 Second Life,2002 年这个项目开始 Alpha 版测试,当时叫做 LindenWorld。
2007 年 2 月 24 日号称已经达到 400 万用户(用户在游戏中被称为 “Residents”,居民)。 2001 年 2 月 1 日,并发用户达到 3 万。并发用户每月的增长是 20%。这个 20%现在看起来有些保守了,随着媒体的关注,增长的会有明显的变化。系统的设计目标是 10 万并发用户,系统的复杂度不小,但 Linden 实验室对SL 的可扩展能力信心满满。
目前在旧金山与达拉斯共有 2000 多台(现在恐怕3000也不止了吧) Intel/AMD 服务器来支撑整个虚拟世界(refer here)。64 位的 AMD 服务器居多。操作系统选用的 Debian Linux, 数据库是 MySQL。通过 Tim O’relly 的这篇 Web 2.0 and Databases Part 1: Second Life ,可以了解到一点关于 SL 数据库建设的信息。在 Second Life 中每个地理区域都是运行在服务器软件单一实例上的,叫做”模拟器”或者简称是 “sim”,每个 Sim 负责 16 英亩的虚拟土地。当用户在相邻的 Sim 间移动,实际上是从一个处理器(或是服务器)移动到另一个。根据这篇访谈,用户当前所在 Sim 的信息,以及用户本身的账户信息是存储在一个中心数据库上的。
Second_Life_db_arch.png
SL 的客户端软件的下载使用了 Amazon 的 S3 服务。
一点感想:MySQL 真是这波 Web 2.0 大潮中最大赢家之一啊
EOF