科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网服务器频道使用多维分割来改善分析服务性能

使用多维分割来改善分析服务性能

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

使用预先计算的概要数值(聚合),MSAS可以帮助你在几秒钟之内生成一份报告,而类似的一份报告如果是运行在关系型数据库管理系统上面的话,则需要几个小时。但是即使是有多个聚合,MSAS仍然可以在处理巨大量数据的时候尽力提供优化的性能。

2008年9月26日

关键字: 处理器 OLAP 服务器 微软

  • 评论
  • 分享微博
  • 分享邮件

  微软的分析服务(MSAS)是一个可以让商业股东分析来自各个方面的数据的伟大的工具——并且它的越来越流行还会为性能的改善带来额外的贡献

  使用预先计算的概要数值(聚合),MSAS可以帮助你在几秒钟之内生成一份报告,而类似的一份报告如果是运行在关系型数据库管理系统上面的话,则需要几个小时。但是即使是有多个聚合,MSAS仍然可以在处理巨大量数据的时候尽力提供优化的性能。在这篇贴士中,我将会讨论使用多维分割的好处——这是一个强有力的机制,可以改善查询性能,减少与多维处理有关的停机时间。

  分割的好处

  分割可以提供很多潜在的好处,总结所示:

  1、缩短的停机时间:一部分典型的数据仓库是相对多变的,需要经常对其进行处理。另一部分则相对静止。例如,在销售立方中,你很可能每天晚上都要修改当年的数据(或者甚至是每个小时),但是前些年的销售则只会偶尔变化,由于退货或者换货的原因。你可以为当年的销售创建一个分区,其他的分区则包含前些年的所有销售记录。如果你的仓库检索过去10年发生的销售情况,那么只在当前分区处理,可以能会比处理整个立方体快10倍。

  2、更好的查询性能:在超过10年的数据上进行的查询可能会比那些只搜索当年数据的查询花费长得多的时间。如果你有合适的分区,分析服务只会扫描全部数据中的一小部分即可返回结果,这可以转化为性能上的巨大改善,比较那些运行在多个(默认)分区上的查询而言。

  3、更加集中的聚合:MSAS 2000 和MSAS 2005都可以让你为每个分区进行不同的聚合。经常被查询的分区可以从额外的聚合中获益,因此会带来更好的性能。那些没有经常使用的分区可以以较低的频率处理——也许是每个月或者每个季度——它的聚合则相对少得多。基于使用的优化想到可以在每个分区上执行,以此来判断哪些额外的聚合可能会带来真正在某个分区上执行的查询的性能的改善。

  4、定制度存储和处理设置:频繁访问的分区可以从预缓冲和RELAP存储中获益。换句话说,对于查询频率较低的分区来说,其他格式的存储和处理可能更好。

  5、分布式查询和处理负载分布在多个服务器上:MSAS可以让你创建远程分区;一个放置在服务器上的远程分取与它的父多维体不同。在这种方式下,服务器对影响远程分区的查询的处理方式与它的父立体不同。它可以让你充分利用额外的处理能力。

  6、并行处理的分区:在MSAS2005中,你可以在拥有多个处理器的服务器上并行处理多个分区。这可以进一步减少整体的多维处理时间。

  分区的缺点

  我曾提到过,MSAS 2000可以让你在多个分区内包括同样的数据,这一点可能会导致你的报告中的计算出现失误。幸运的是,微软在MSAS2005中修正了这个问题。也许,重要的是分区需要更多的工作。你必须判断可以正好代表了通常的报告中的数据的数据集,然后相应的分割数据。还有,你必须要决定使用哪个存储模式,并且让聚合计划对每个分区有意义。更多的分区意味着额外的维护负担,因为你必须合并一段时间内的多个分区。

  我们假设你的大部分分析报告查询的都是当前月份的数据;你可以用一个分区存放当前月份的数据,然后你每天去更新它(也许是每小时),再用一个分区存放当年的所有以前月份的数据,一个分区存放以前年份的。一旦当前月份结束了,你就必须要合并“当前的”分区到当年的分区,然后创建一个新的分区给当前的月份。正如我前面提到的,MSAS只能让你用同一个聚合合并2个分区——所以你必须在合并之前重新构建你的聚合。

  即使是有这样的缺点,分区仍然是改善分析查询性能的无价的工具。还有,更重要的是,他们减少了多维的处理时间,并且增加多维的可用性。

  算算你需要多少聚合

  你为你的多维体创建的聚合的数量依赖于你的用户的分析需求。越多的聚合通常会带来更好的查询性能,但是它们也会使用更多的磁盘空间,并且增加多维体处理的时间。

  通常,磁盘空间不是一个重要的考虑因素,原因如下两点:

  1. 存储的成本每天都在下降,构建一个数据仓库的费用也大大超过存储的成本。

  2. MSAS提供了有效率的多维OLAP (MOLAP)储存选项:一个关系型仓库通常是以几个GB来衡量的,它只需要几百个MG的字节来存储聚合。

  作者: Baya Pavliashvili,  出处:TechTarget, 责任编辑: 叶江,  2007-04-26 14:45

  微软的分析服务(MSAS)是一个可以让商业股东分析来自各个方面的数据的伟大的工具——并且它的越来越流行还会为性能的改善带来额外的贡献

  另一方面,很长的多维体处理时间代表了更严重的限制。完全多维处理需要一定的停机时间,这意味着没有人可以在处理多维体的时候执行查询。越长的处理时间就意味着越长的停机时间。因为你的数据仓库也在不断变大,所以多维处理时间也在变大。8个小时的停机时间(在非营业时间)在某些环境中可能是被接受的,但是当用户们发现这个窗口开放了16个小时的时候,他们不会高兴的。更进一步地说,如果你的业务为客户提供全球的,24小时的,每周7天的分析解决方案,停机时间根本是不可行的。

  MSAS还会达到额外的聚合抵消性能的改善的点。创建所有可能的三分之一的聚合通常可以提供最好的性能;任何超过这个边际的聚合都会让性能开始下降。

  实现分区

  那么你如何保证让多维体处理时间保持最低,并且还能提高分析查询的性能呢?一个选择就是基于某种常用于过滤查询的标准来将多维体分区。一个分区只是一个完全多维体中的一部分,它可以被某些条件所限制。

  例如,如果分析查询通常被客户的婚姻状况所限制,那么你就可以创建两个分区——一个为已婚客户,一个为单身客户。多维体通常是按照时间维度成员来分区的,正如你在为每年或者每个季度创建单个分区的情况。

  在MSAS 2000 和MSAS 2005中都可以使用分区,但是他们支持在企业版中才支持.这一点都不稀奇,因为分区通常对大型的数据仓库才有意义,而大型的数据仓库也最有可能应用企业版。还要注意一点,分区对于多维用户是无缝的:他们可以在多维体中执行查询,不需要制定包含某些数据集合的分区的名字。取而代之的是MSAS来判断在查询运行的时候使用哪个分区。

  在默认情况下,每个多维体都有一个单独的分区包含所有事实表中的数据。要创建新的分区,你可以调用分区向导并指定你想要包括在分区中的数据集合。例如,如果你有一个时间维度从2000到2006年,你可以为每一年创建一个独立的分区。

  你还可以使用多个唯独来对你的多维体进行分区。例如,销售多维体可以通过提拔策略、客户教育收枰,每年的收入来分区。注意,你可以根据同一个事实表或者不同的事实表来创建不同的分区。例如,你可以有一个每年销售情况的事实表,或者也许是基于一个事实表的每年销售数据的视图,它们都可以用来构建每个分区。

  MSAS 2000的一个限制就是,它允许你创建一个包含了其他分区中也含有的数据的分区。假设我们为那些年收入超过150K的客户创建了一个分区,那么这些年收入超过150k的客户就会被计算两次——一次是在默认的分区中,一次是在新的分区中。MSAS不会自动将数据从默认分区中删除,也不会在将同一数据计算两次的时候对你提出警告。要避免错误的计算,你必须编辑默认分区。此外,在设计分区的时候,没有任何方式可以排除维度成员;你不能建议分区向导包括所有的收入水平,而单单除了超过150k以上的。

  MSAS 2005可以让你基于你的数据源视图中发现的事实表来创建分区。你还可以编写可以为你的分区用作源的SQL查询。如果你正在对现有的分区使用一个事实表,MSAS 2005会对你提出警告,防止你将同样的数据计算两次。

  分析服务可以让你合并分区,这一点在当前的分区计划不再起作用的时候非常有用。假设你有一个2006年的分区,你可能会希望将这个分区与“历史性”的分区合并在一起,然后为2007年创建一个新的分区。你可以合并两个分区,如果他们两个有同样的聚合,同样的结构,并且同属于一个多维体的时候。为了确保两个分区有同样的聚合,在MSAS 2000中,你可以从现有的分区中拷贝聚合到新创建的分区中。MSAS 2005可以让你在分区创建之后,从一个分区中拷贝聚合到另外一个分区中。

  注意,分析服务会在第一次创建维度和多维体的时候计算维度成员的总数,和事实表的规模。维度的初始尺寸可能是相当小的,比起6个月之后来说。然而,MSAS 2000从来不会重新计算维度的尺寸或者实际情况。你应该在维度编辑器和多维体编辑器中手工修改维度级别成员数量,以及事实表规模属性。还有,MSAS 2000没有提供一种方式来判断每个分区内成员的数量;你不能为分区指定数据行总数。如果成员数量不正确,你的聚合就不会优化。你应该使用分区聚合工具来指定每个分区的事实表尺寸。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章