科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网服务器频道虚拟化/云计算Per Brashers:硬件改造将对软件产生重大影响(上)

Per Brashers:硬件改造将对软件产生重大影响(上)

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

Per Brashers,现Yttibrium公司创始人,曾总管Facebook的整个存储部门。他发明创造了若干对业界具有深远影响的存储平台,名下共拥有21项(含待发)专利发明。

作者:仲浩 来源:CSDN 2014年5月9日

关键字: 数据中心 存储 服务器 云计算大会 云计算

  • 评论
  • 分享微博
  • 分享邮件

关于Per Brashers

Per是一位极具远见的存储战略家。他发明创造了若干对业界具有深远影响的存储平台,其中包括用于Facebook引领的Open Compute Project系统下的OpenVault及Cold Storage解决方案。他设计了多个适用于数据中心中的互联系统。Per还是pNFS-Block的作者,也是现今最快的Hadoop存储阵列系统的架构师。Per还将传统的3X复制策略转化为纠删码(erasure code)的存储方案,从而最大化使用效率。
 
Per的名下共拥有21项(含待发)专利发明,多数在存储领域,擅长解决存储及存储网络连接、数据块、文件及对象存储等方面的问题,并擅长于利用纠删码来实现数据分布,弹性调度及提升效率。Per在删除重复存储以降低存储成本方面也是专家。他善于将用户的需要转化为切实可行的执行方案,专长于在Hadoop及BigData应用领域的性能改善。他身兼数任,工作在NAS、SAN、IP网络连接、备份及恢复方案、应用性能分析等多个领域,并兼负标准起草/编辑、难题专家、发明人等多重身份。
 
Per的兴趣与关注点还不仅限于此,他竭力为了改善人们的居住环境献计献策,如为住家提供空气效能方面的的相关发明作出了不懈努力。Per的业余爱好之一是有机种植,同时也是一位家庭啤酒酿造师,曾获得UC Davis 酿酒科学的荣誉硕士学位。同时,Per 还在不断学习改进其葡萄酒酿造技艺!

Per有着丰富的存储系统设计经验,对软硬件结合有着清晰的思路,下面是Per在2013年9月XLDB(第七届超大型数据库大会)上发表的看法,虽然有些趋势可能已经被实现,但是其中存在的价值仍不可忽视。

硬件的改造将对软件行业产生重大影响

Per从存储、控制器(或网络)、内存、CPU、数据中心环境五个点着手,分享了硬件领域的变革趋势,并分析了这些变革对应用程序的影响:

一、 存储


1. 存储的趋势:SATA-4被IETF否决、混合类型磁盘将大有可为、对象存储正在侵蚀整个世界、SSD在短期之内仍然得不到完全利用、云存储将减少机构的内部磁盘采购、移动计算将完全建立在SSD上、专为大数据设计的新类型磁盘将诞生、机构将被新类型的磁盘密度问题困扰。

2. 磁盘耗电将影响到采用。相信不久后,2.5英寸磁盘就会被广泛的用于大数据场景,除下有人能找到优化3.5英寸磁盘的电能消耗方法。

3. 磁盘性能增加遥遥无期。在过去,磁盘访问速度增长相当可观,但是在2000年后,整整13年都毫无提升。

4. 基于历史的推测。在过去,容量增长呈线性增加,但是当下基本上已到一个瓶颈。

5. 磁盘密度未来堪忧。随着密度增加放缓,游戏规则已经被改变:首先,当下的探索已转变为数据的寿命,同时减少运维已经成为大家追逐的目标;其次,在之前,磁盘技术迭代时间是3年,然而当下已转变为5年,磁盘使用寿命也必须随之增加,毫无疑问,这将对RMA值和销售增量产生影响;最后,新的控制器需要针对现有数据集的数据存放空间及启动性能设计。

在数据爆发的当下,如此堪忧的前景将会对应用程序设计产生众多影响,这里主要从发展情况和数据持久上看:

1. 发展情况

  • 不要期待存储容量在短时间内的爆发增长
  • 对闪存的依赖增加,然而API还不能完全的成熟使用闪存
  • 针对大数据的磁盘设计可能成为一条出路,然而持久性将成为致命缺陷

2. 数据持久

  • 新的替代方案可能不会带来本质性提升,除非应用开始就针对其设计
  • 拆分RAID将提供类似DEC的效果,机架和层布局需要设计成为为系统的一部分
  • 针对RV和缓解bit-error速度设计可能会有助于性能提升。如果应用可以纠正一些bitwise错误,并重试那些无法被修复的,系统的IOPS将会显著增加

二、 控制器/网络


控制器及网络发展趋势:性能更强,体积更小;12GBb可能是最终状态;SAS和PCiE将是这个领域的角逐者;PHY add-ins将需求更复杂的配置;芯片销售将被拆分;DMA/RDMA已经成熟落地;设备级的合作将增加,机构的目标将放到RAID拆分上;T10-diff及其他校验/安全特性;传统的RAID仍然是主要收入来源;网络将会有巨大的改变,比如SAS/PCiE/Silicon Photonics及OpenFlow/“Agnostic Networks”。

基于控制器/网络的改变又会给应用程序带来什么样的影响?这里同样从发展情况和数据持久两方面来看:

飞速发展

  • 新类型的通信渠道将出现,Open Socket,可增加设计,封闭的Socket将会被取代
  • 控制器的智能化,新的应用程序和驱动可以从中获益
  • 新的密度解决方案将带来IOPS并节约电能,闪存的辅助将弥补转速的不足

数据持久

  • 数据最终将变得可以移动,非分层拓扑将提供更好的带宽
  • 许多持久性任务可能会被下压,比如加密、错误处理等
  • 网络的聚合意味着更多的预留容量,QOS已老,新的思想需要被建立
    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章