青青子衿, 悠悠我心, 但为君故, 沉吟至今
« 百度360之争的背后禁用WordPress 3.0自动草稿存档 »

图说Google数据中心

  Google数据中心一直是业界中令人着迷的“对象”之一。Google这个搜索巨人很少暴露其数据中心,那么Google到底有多少数据中心?它们分布在什么地方?笔者整理收集一些有趣信息,以供分享和参考。

  Google数据中心分布图

  Google 搜索速度为什么能这么快?这主要因为Google在全球分布着众多的数据中心。根据现有信息,如果包括在建的数据中心,Google共有36个数据中心。其中美国有19个、欧洲12个、俄罗斯1个、南美1个和亚洲3个(北京-Google.cn、香港-Google.com.hk和东京各1个)。不过,Google也并非完全独享这些数据中心,他们也向其他公司出租空间。

Google数据中心-全球

图1:Google数据中心-全球

Google数据中心-北美

图2:Google数据中心-北美

Google数据中心-欧洲

图3:Google数据中心-欧洲

  Google的第一个“数据中心”

Google的第一个数据中心

图4:Google的第一个“数据中心”——BackRub

  Google 的首个“数据中心”是在佩恩的宿舍楼。一句话概括:麻雀虽小,五脏俱全。详细配置请看《成名之前的Google:斯坦福大学期间的Backrub原貌

  数据中心的服务器

  大部分公司都是向Dell、HP、IBM和SUN厂商直接购买服务器。购买服务器需要一大笔费用,如果 Google的服务器均从其他公司购买,估计Google也无法有今天。时至今日,Google的所有服务器均为自己一手打造。Google服务器厚度 3.5寸,2U(两机柜式),它有2个CPU、2个硬盘,采用技嘉主板,有8个内存插槽。Google采用AMD与英特尔的x86处理器。在同样大的空间 内,Google的服务器比其他厂商的服务器能容纳更多的CPU.

Google服务器

图5-1:Google服务器

谷歌的一组服务器

图5-2:“世纪互联”机房中谷歌的一组服务器(DELL Precision 390 工作站)

  数据中心以集装箱为单位,每个集装箱里面有1160台服务器,每个数据中心有众多集装箱。

  数据中心的核心技术

  Google一直都钟情于开源软件,也一直支持开源技术 (Google对手之一的Facebook也同样重视开源技术)。Google服务器使用的是Linux操作系统。Google的工程师按照平行计算的要 求对Linux进行了优化。Google开发自有核心软件,开发语言是Java和C++。

  Google的三大核心元素:

  1、Google文件系统(GFS);(GFS负责服务器数据储存工作)

  2、Google大表;Bigtable:是Google一种对于半结构化数据进行 分布存储与访问的接口或服务);由于Google的文件系统异常庞大,以至于甲骨文和IBM公司的商业数据库在方面无用武之地。另外,商业数据库都是按 CPU数量来收费,如果Google使用商业数据库,可想而知,这是一笔天文数字。所以,Google量体裁衣地设计了符合自身的大表。

  3、Mapreduce 算法;它是Google开发的C++编程工具,用于大于1TB数据的大规模数据集并行运算。MapReduce能够找出一个词语在Google搜索目录中 出现的次数;一系列网页中特定词语出现的频率;链接到某个特定网站的所有网站数量等。

  虽然Google依靠许多开源项目实现了企业的腾飞,但Google始终对这三大核心元素保密。

  数据中心的专利

  1、服务器内置电池。 每台服务器都有一颗12伏特电,确保万一主断源断电时还可持续供电。最终目的,节约成本。

  2、可移动的数据中心集装箱。2008年10月获得该项专利,每个集装箱中最多可容纳1160台服务器。

  数据中心的开销

  根据Google的盈利报告,2006年Google在数据中心上的开销是19亿美元,2007年是24 亿,2008年23.6亿,2009年8亿9百万,2010年上半年已开销7亿1千5百万。

Google数据中心

图7:Google数据中心“烧钱”曲线图

  数据中心的选址标准

  1、大量的廉价电力;

  2、绿色能源,更注重可再生能源;

  3、靠近河流或湖泊;(设备冷却需要大量水源)

  4、用地广阔;(隐秘性和安全性)

  5、和其他数据中心的距离;(数据中心之间的快速链接)

  6、税收优惠。

Google数据中心

图8:Google的服务器(左)Google俄勒冈州Dalles数据中心(中)Google服务器机柜特写(右)

  Google的特殊数据中心——圣吉兰数据中心

  Google在比利时的圣吉兰(Saint Ghislain)数据中心(图3中编号26)根本没有冷却装置,完全依靠纯自然冷却(即:用数据中心外面的新鲜空气来支持冷却系统)。一般来说,绝大部分数据中心都是采用水冷却装置。(这也就是为什么数据中心选址时要考虑水源。)

Google数据中心

图9:Google比利时数据中心

Google数据中心

图10:比利时国王(左五)参观Google比利时数据中心

  Google的Dalles(达尔斯)数据中心

  Dalles数据中心(图2中编号8)位于俄勒冈州的波特兰以东约80英里,旁边是哥伦比亚河,河上有座大坝——Dalles大坝,大坝为数据中心提供便宜的电力。数据中心有2座4层楼高的冷却塔。(注:“Dalles”不是“Dallas”,Dallas达拉斯在德州。)

Google数据中心

图11:Dalles数据中心鸟瞰图

  以下这段话来自Nicholasg Carr,他曾经在2009年访问Dalles数据中。括号部分是笔者的注释。

  Dalles数据中心有3个超大机房(在图11中有4个白色建筑,但只有3个是服务器机房),每个机房有45个集装箱,每个集装箱可以放置1160台服务器,故Dalles数据中心可以存放约15万台服务器。

  Google的秘密

  Google在其数据中心的位置和数量方面的保密工作做得很好。比如说:如果你反查Google各种爬虫或者是Google各个域名的IP地址,所得结果几乎看起来都是加州山景城的IP地址。因此,想通过反查IP地址,基本无法推断出其数据中心的真正位置和真正数量。

  此外,Google通常把其数据中心“伪装”成有限责任公司, 表明上看起来和Google毫无瓜葛。比如:北卡罗来纳州Lapis公司和爱荷华州的Tetra公司。

  既然Google在其数据中心方面的保密工作做得很出色,所以本文的信息未必是百分百正确。

  其他相关旧闻

  2008年1月28日有报道称,Google将在TW建立一数据中心。TW经济负责人陈瑞隆已确认此消息,并且表示已在TW西部彰化的彰滨工业区内为Google预算了一块地。TW还将向 Google提供各种优待,包括土地税折扣、保证电力供应稳定在内。不过至今一直没有听到这个数据中心在台的任何动静。

  在陈瑞隆确认消息 后的第二天,马来西亚总理也宣布,Google有意在马来西亚建立数据中心。

  另据报道,Google有意在东欧的立陶宛新建数据中心。

  另外,Google曾于2007年在南卡罗来纳州的布利西伍德购买466英亩(1英亩约合4000平方米)土地,似乎是打算建立南卡的第二个数据中心。

  来源:伯乐在线投稿,原文地址



  除非注明,月光博客文章均为原创,转载请以链接形式标明本文地址

  本文地址:http://www.williamlong.info/archives/2300.html
  • 文章排行:
  • 1.franziska
  • 纯粹是来长见识的~~~谢谢!

    回楼上:分部全球的数据中心,除非是世界末日,不然其他地方肯定会有备份的。
  • 2010/8/23 18:48:09   支持(12)反对(5) 回复
  • 2.哦哦
  • 假如发生洪水,这些数据中心会如何呢?
  • 2010/8/23 18:30:20   支持(11)反对(5) 回复
  • 3.奇讯吧
  • 什么时候我的博客也像老前辈一样就代表我成功了,努力啊!!奇讯吧
  • 2010/8/22 21:22:05   支持(9)反对(4) 回复
  • 6.素材天下
  • 不知道的都在地下呢。。。。
  • 2010/8/23 19:03:20   支持(8)反对(5) 回复
  • 7.Heytouch
  • 腾讯正式收购康盛,域名易主揭露谎言.
  • 2010/8/23 1:03:29   支持(8)反对(6) 回复
  • 8.星星之火
  • 这些资料哪来的?准确吗
  • 2010/8/23 19:14:43   支持(8)反对(6) 回复
  • 9.百度专家
  • 旁边是哥伦比亚河,河上有座大坝——Dalles大坝,大坝为数据中心提供便宜的电力。

    哈哈 靠水 电还 便宜 这就是Google!
  • 2010/8/24 15:53:29   支持(8)反对(6) 回复
  • 11.riant
  • “表示已在TW西部彰化的彰滨工业区内为Google预算了一块地。TW还将向 Google提供各种优待,包括土地...”——而天&朝却在赶走Google
    Cucole 于 2011-6-7 12:26:29 回复
    “不走寻常路” - 鸿星尔克
  • 2010/8/25 15:00:03   支持(9)反对(7) 回复
  • 12.SmallAnt
  • 我常来读没有原创的月光,因为我能在这里找到许多还做原创的博友。
  • 2010/8/22 21:06:50   支持(7)反对(6) 回复
  • 13.阿七
  • 不论原创,只要是好文就喜欢。
  • 2010/8/22 21:31:54   支持(7)反对(6) 回复
  • 14.足浴盆
  • 原来工程这么浩大,以后要不断的增加还是要怎么样
  • 2010/8/24 16:38:46   支持(7)反对(6) 回复
  • 15.Mors
  • 3个超大机房(在图11中有4个白色建筑,但只有3个是服务器机房),每个机房有45个集装箱,每个集装箱可以放置1160台服务器,故Dalles数据中心可以存放约15万台服务器。

    这么多服务器一起工作.壮观.

    怎么管理这堆机器?

    技术实在太高了.

  • 2010/8/25 23:48:10   支持(6)反对(5) 回复
  • 19.旅行者2号
  • 纯自然冷却,40度气温的时候不是全趴下了。。。
  • 2010/8/22 21:24:47   支持(8)反对(9) 回复
  • 20.insect
  • 耗能大户啊!!!!!!!!!!!!
  • 2010/8/23 9:52:10   支持(7)反对(8) 回复
  • 22.modest
  • 终于更新了。个人觉得这个博客中写的还是挺好,最好一查才知道人家是国内博客领头羊。
  • 2010/8/22 21:42:05   支持(5)反对(7) 回复
  • 27.土木坛子的博客
  • 原来在比利时也有数据中心呀。不过欧洲的Google实在之快!
  • 2011/6/21 20:04:07   支持(3)反对(5) 回复
  • 28.55380855
  • 想查找Google服务器知识,原来专业叫法叫Google数据中心。
    很明显,作者很多也不是原创,但收集资料很用心,让人学了不少。
    感谢作者!
  • 2012/6/22 16:59:49   支持(5)反对(7) 回复
  • 29.民工成
  • GFS,bigtable,mapreduce都有论文可以看
  • 2010/8/22 20:55:42   支持(7)反对(10) 回复
  • 30.广cfghb
  • 月光真的要放弃原创了吗?在月光上看到重复的内容很伤心
    xioubin 于 2010-8-22 21:11:58 回复
    月光不想写了
    快乐的村长 于 2010-8-23 14:11:35 回复
    还是希望月光能自己写,哎。。
  • 2010/8/22 20:55:45   支持(7)反对(10) 回复
  • 31.石头
  • 要保持一天一篇原创太困难了,转载也是迫不得已吧。况且只要转载的文章对我们来说有价值,又何乐而不为呢。
    在线敏感词过滤 于 2010-8-23 9:26:56 回复
    人家有正经职业,网站又赚不了太多钱,知识也有限,谁做得到更新那么多啊
  • 2010/8/23 8:57:13   支持(4)反对(7) 回复
  • 33.日光博客
  • 真长见识,谷歌原来是如此power
    dahu0917 于 2015/9/15 14:46:07 回复
    现在有一片土地,比较适合建设数据中心,如何可以和谷歌对接合作呢?
  • 2010/8/24 21:26:51   支持(5)反对(8) 回复
  • 34.许浩峰
  • 很久没进来了,还是过来学习了
  • 2010/8/22 21:59:11   支持(4)反对(9) 回复
  • 35.集思
  • 原创不原创没关系,最重要是实用性!
  • 2010/8/22 22:16:01   支持(5)反对(10) 回复
  • 36.希丸嘉
  • GOOGLE神秘着呢,秘密没这么容易让我们知道的。
  • 2010/8/23 14:01:02   支持(3)反对(8) 回复
  • 37.yingbo
  • gfs, bigtable 和 mapreduce都有公开的论文发表
  • 2010/8/26 10:55:04   支持(3)反对(8) 回复

发表评论:

 请勿发送垃圾信息、广告、推广信息或链接,这样的信息将会被直接删除。

订阅博客

  • 订阅我的博客:订阅我的博客
  • 关注新浪微博:关注新浪微博
  • 关注腾讯微博:关注腾讯微博
  • 关注认证空间:关注QQ空间
  • 通过电子邮件订阅
  • 通过QQ邮件订阅

站内搜索

热文排行


月度排行

本站采用创作共用版权协议, 要求署名、非商业用途和相同方式共享. 转载本站内容必须也遵循“署名-非商业用途-相同方式共享”的创作共用协议.
This site is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 3.0 License.