“我们怀念伯格”

2010年3月，Mesos项目启动后大约过了一年的时候，海因德曼和他的朋友们去Twitter讲座。起先，他感到非常失望。因为只有8个人来听他的讲座。但是Twitter的首席科学家对他说，8个人已经很多了，占到公司员工总数的10%左右。当他演讲完之后，还有3个人与他进行了交谈。

那3个人是Twitter的工程师约翰西罗伊斯（JohnSirois）、特拉维斯克劳福德（TravisCrawford）和比尔法尔纳（BillFarner），他们以前都曾在谷歌工作过。他们对海因德曼说，他们很怀念伯格系统，而且Mesos似乎可以通过一种完美的方式来重建它。

不久之后，海因德曼担任了Twitter的顾问，与上面提到的3名工程师密切地共事，以拓展Mesos项目。之后他作为临时员工加入了Twitter。一年后，海因德曼成为Twitter的一名正式员工。海因德曼回忆说：“我的老板当时说，如果你在一年前就加入公司的话，你可能已经获得了一年价值的Twitter股票，你当时在想什么呢？”之后，他和他的同事们继续将Mesos作为一个开源软件项目来开发，但他同时还在努力将Mesos平台搬到Twitter的数据中心里去使用，情况跟谷歌的伯格系统非常相似。

（图注：由于使用了伯格和后续的欧米茄系统，谷歌不用在不同的服务器群组上运行各自的软件系统，而是将所有的东西放在一个服务器群组上运行。）

谷歌并未正式参与那个项目。但是它为巴克莱AMP试验室提供了资金，而AMP试验室正是Mesos项目的主要研究机构。而且，那些参与了Mesos项目的研究人员也经常与威尔克斯那样的谷歌员工交换想法。威尔克斯称：“我们发现他们正在开发它，我开始安排自己的日程表，以便每6个月就可以跟他们碰一次头，有时只是为了在一起聊聊。”

孔维因斯基也在谷歌临时工作了一段时间，并且还在威尔克斯手下干了一段时间。孔维因斯基说：“我们从未针对谷歌内部运行的某些特定的系统交换过想法，因为谷歌在那些项目的保密性上面管得非常严。但是我们还是得到了很多有用的反馈信息，都是在很高层面上的，比如具体的问题是什么，我们应该关注哪些问题等等。”

Mesos项目与伯格系统有一点不同，后者的历史要比前者长一些。但是它们本质性的问题是一样的。据海因德曼称，谷歌的新版伯格系统即欧米茄与Mesos的模式更为接近。

这些系统被称作“服务器群组管理系统”，它们与多年以前就在开发的很多被用来运行超级电脑和SunGridEngine等服务的工具很相似。欧米茄和Mesos都可以让你在同一个服务器群组上运行多套分布式系统。你不需要专门为Hadoop分配一个服务器群组，然后为Storm（一种可以实时处理多条数据流的工具）分配另一个服务器群组，你可以将它们放在同一个服务器群组上运行。威尔克斯称：“这就是我们开发的方向，它可以提高效率，这也就是我们开发这些系统的原因。”

那些工具还提供了一个接口，软件设计师们可以利用那个接口在伯格或Mesos平台上运行他们自己的应用程序。在Twitter，这个接口被称作“Aurora”。例如，一组工程师可以利用Aurora来运行Twitter的广告系统。海因德曼当时说，公司大约20%的服务都是以这种方式运行在Mesos平台上的。

威尔克斯称，现在谷歌提供了很多工具，帮助工程师们将各项资源分配给他们的应用程序。但是欧米茄的目的是处理更多这样的任务，因此工程师们不必担心细节问题。他说：“你可以将它看作是自动挡汽车与手动挡汽车的对比，你想要跑得更快，你没必要去调整压缩比或进口歧管。”

欧米茄项目仍处于开发状态，但是公司已经开始在实际数据中心中进行样品测试了。

Twitter的本海因德曼

克隆的攻击

据威尔克斯称，谷歌打算发布一份关于伯格系统的研究报告。谷歌通常不愿意透露其支撑着它的网络帝国的各种系统的资料。从竞争的角度来说，那些技术具有非常重要的意义；但是一旦这些工具达到一定的成熟阶段，谷歌就会向外公布。

在发布那样一份研究报告和Mesos在Twitter的兴起期间，伯格模式将在网络上得到进一步扩散。其他一些公司如AirBNB、Conviva和另外一家与加州伯克莱大学关系密切的公司已经开始使用Mesos系统，威尔克斯相信，Mesos项目背后的基本构想可能会极大地改变企业运行分布式系统的方式。

是的，还有很多其他方式可以高效地将工作负载分配到服务器群组中去。你可以使用虚拟化解决方案，在物理服务器上运行虚拟服务器，然后把你想要加载的任何软件加载到虚拟服务器上去。但是在伯格和Mesos平台上，你不用担心去担心那些虚拟机。

海因德曼称：“接口是最重要的东西。虚拟化解决方案给你的接口是一个新的虚拟机，我们不想那样，我们要想一种更简单的解决方案。我们希望人们可以管理数据中心，就象他们管理笔记本电脑一样。”

威尔克斯称：“如果你是一名工程师并建立起一个虚拟机，你会得到一个看起来象是另一台硬件的东西。你必须在它上面运行一款操作系统，你必须去管理它，你必须升级它，你必须去做需要对一台物理设备做的所有工作。”

他接着说：“但那并不是一名工程师利用他的时间的最好方式。他们真正想要做的是运行他们的应用程序。我们为他们提供了一种实现那个目标的方法，而且不需要去使用虚拟机。”

显然，很多工程师宁愿使用原始的虚拟机。这就是他们从亚马逊EC2服务中获得到的东西。亚马逊的云计算服务已经成为运行软件应用程序最流行的方式，以致于无数公司都在努力为开发人员和企业用户提供相似的工具。

毕业于加州巴克莱大学、同样在威尔克斯手下干过一段时间临时工的查理雷斯（CharlesReiss）并不认为现在的这个系统能够提供比其他可比解决方案更大的优势。但是他同时也补充说，欧米茄就不同了。

谷歌打算通过欧米茄项目让整个流程变得更加顺畅，就象Twitter利用Mesos平台和Aurora实现的目标一样。从长期角度来说，其他公司肯定会模仿它们。谷歌和Twitter将数据中心当做一个超大型的计算机来看待，最终全世界也会这样做。计算机科学总是利用这样的方式向前发展。我们从一种复杂的接口起步，慢慢地开发出一种不再复杂的接口。这样的事情在台式机电脑、笔记本电脑和服务器领域都已经发生过了。现在，轮到数据中心了。