Facebook公布PB级社交数据存储系统TAO

在近期的USENIX会议上，关于“TAO”细节的阐明是如此新颖，有两点原因：一，它展示了未来企业必须要操作的数据规模；二，这个科技公司将设计引入到现代化的数据系统。

Facebook的员工在文章中写到“一个类似于‘TAO’的系统有可能对任何应用领域起到作用，因此需要高效率的从高度连通的数据中产生用户化的内容。在常见情况下，这个应用不应该认为，数据不更新，但应该能够默许它。许多社交网都属于这种类别。”

未来，类似于“TAO”系统的其他应用可以是关于野生动植物群的大数据集，或是其他复杂的系统，这些系统附带一些代理，他们之间的关系被定义成各种各样的操作。为锡箔帽子爱好者,TAO也似乎有处理这个问题的一个情报机构，当这个情报机构试图监视它的市民时，有可能会遇到被监视的情况。

TAO是一个读取最优化的存储，在Facebook上，作为一个单独的地理学分布实例被部署。它让Facebook的工程师访问并写信息，这些信息要符合Facebook“社交图表“，这个社交图表储存着所有在Facebook上的对象信息（人物、品牌、评论等等）和关联信息（喜欢、嘲弄、标签）。

它已经建立了能够处理每秒钟超过十亿读取速率的一个数据集（许多字节）。Facebook说，TAO是Facebook设计的，是为了在它主要的数据存储（开放源代码的关系数据管理系统）和超高速缓冲层保持更好的数据链接，能够处理对象上不能预期的质疑。

Facebook的总工程师Venkataramani表示，“事实上，用户可能不知道，TAO正在使用MySQL 。我们尚未找到比MySQL更好的数据库系统，但我们正不断地关注。”

它的API映射到少量的SQL查询,这缓解通信与底层的MySQL数据库交流，对于一个单一的数据库，Facebook的数据库太大，Facebook的数据库已经把分离的数据转换成条理分明的数据块，这些数据块被数据库的服务器操控。

TAO也有一个最终相容的超高速缓冲层，这个层经由类似的原理建立的,并充满对象和关联。这个层的至关重要性在于容许Facebook迅速下载成千上百的对象和关联，并填充在任何一个页面上。

因为Facebook的数据库非常大，电脑的高速缓冲存储器分裂成两个层级，一些“领导者”缓冲存储器处理写内容，附属的“追随者”缓冲存储器辅助读。戏剧化的每秒磁盘写入操作速率如此之高，是TAO的典型的经验，每秒十亿的读取速率与“成千上百的写入速率”相对抗。

数据通过对象与关联彼此密切联系而存储的，Venkataramani说，一个重要的设计决定是保持所在地的系统去试图开拓有局部性的工作量，他说道：“这是基础决定中的一个，它容许我们去规划扩展。”

例如，巴拉克.奥巴马的Facebook个人主页，随时都会有更多的人来阅读，许多的TAO的设计要素，围绕对象的读访问权转动。因此，它采用了最终的相容性和高可用性。

在Facebook之前，没有看过其他公司处理这种负载，Venkataramani说，当人们考虑采用电子邮件时，这种工作量非常不同，因为每个人都是查看自己的邮箱，你不是查案别人的邮箱。当你采用一个社交网络时，这个问题迥然不同，因为这里有速度非常高的输出端。

尽管现在使用这种处理数据方法的公司可能不多，研究TAO会对这些问题有深刻的理解，当公司遇到的事情变得十分大,显示背后的蓝色和白色集市的Facebook有一个相当复杂的衬底。

“当这个世界越来越移向云，大量的数据会在一个更大的数据中心进行管理，我认为这也许是一个新的后端架构的开始。”Venkataramani说道。