Kyligence公司解决方案

公司名称: Kyligence

公司介绍:

Kyligence （上海跬智信息技术有限公司）由首个来自中国的 Apache 软件基金会顶级开源项目 Apache Kylin 核心团队组建，是专注于大数据分析领域的数据科技公司。Kyligence 提供基于Hadoop 的企业级智能大数据分析平台，在PB（petabyte）级数据集上提供亚秒级查询响应和互联网级的高并发访问。

目前，Kyligence 已赢得了海内外多家保险、证券、电信、制造、零售、广告等行业的企业级客户。公司总部在上海，同时，在北京、深圳等地设有办事机构, 在美国硅谷设有分公司，目前，已获得来自红点中国、思科、宽带资本、顺为资本及斯道资本（富达国际自有投资机构）等投资机构的多轮投资。

解决方案介绍:

高性能的多维分析解决方案

背景

OLAP（Online Analytical Process，联机分析处理）是数据仓库系统最主要的应用，通过对业务部门常用的维度和指标进行建模和预计算，可以让业务分析人员快速、灵活地从不同业务视角对数据进行下钻、上卷、切片等复杂的分析操作，以达到深入理解数据的目的，从而更加高效地支持日常的业务运作。

需求

在面对不断增长的海量数据和爆发的分析需求时，传统BI工具的Scale up架构常常会陷入数据规模受限、Cube维度数目和容量受限、查询响应慢、并发支持能力差等技术局限，大大限制了OLAP分析的应用场景。IT运维方不得不每年投入大量经费对集群进行扩容，来满足日益增长的数据量和业务需求，这种方式成本高，周期长，效果也不理想。

解决方案

Hadoop技术拥有低廉的存储成本、灵活的扩展架构，强大的并行处理能力，使得用户能够摆脱传统DW/BI技术在性能、成本方面的限制，对海量结构化或非结构化数据进行存储、加工、交互式多维分析，以Hadoop技术为核心的生态圈业已成为大数据平台事实上的技术标准。

Kyligence依托Hadoop的HDFS分布式存储技术和MapReduce/Spark分布式计算引擎，能够提供万亿数据规模下的秒级查询性能。基于Scale-out架构的Cube技术，存储成本低，运维方便，性能稳定高效，支持高并发访问，且无需频繁扩容集群。另外，Kyligence提供对ANSI SQL的良好兼容性和丰富的ODBC/JDBC/Rest API接口，使得多维分析应用从传统数据仓库平台迁移到Hadoop平台的成本低，周期短。

解决方案优势/带给客户的好处:

Kyligence能够满足超宽表，超高基维度（千万级~亿级），超多维度组合（百级维度数），无容量上限的Cube构建需求，通过Hadoop强大的并行计算能力加速Cube构建时间，同时基于Kyligence独有的列式存储引擎技术，使得Cube的查询性能在秒级实现，从而支撑更广泛的业务应用和更佳的用户体验；另外，Kyligence提供线性扩展能力，轻松实现1000+的高并发支撑能力，使得多维分析平台开放给更广泛的业务群体成为可能，从而进一步提升企业运营和管理效率。

收益：
• 秒级查询性能：查询性能提升了约2000倍，平均达到5秒

• 更佳的Cube构建：Cube构建时间减少了75%

• Kyligence支持权限数据和Cube数据分离存储，迁移后Cube数量降低到几十个，减轻了运维的压力

• Kyligence同时支持Cube多维分析和明细数据查询，大大简化了原有的开发工作量

• 支持高并发查询：单节点单实例50并发/秒，且并发量可以根据业务增长需要进行水平扩展。

解决方案使用场景和案例:

案例

以某全国级金融企业为例，在全国有上亿客户，每天的交易明细数据超过10亿，一直以来深受传统数仓在数据容量、查询性能方面的限制，在将数据迁往Hadoop平台后，选择了Kyligence产品来建设其企业级多维分析平台。

痛点：

• 最大的Cube每天构建时间超过20小时，业务部门只能看到2天以前的数据

• 基于Cube的单次多维分析需要1小时才能返回结果，严重影响业务部门的工作效率和正常分析流程

• 将Cube数据固化成报表文件来提升查询性能，带来大量额外维护成本的同时，彻底丧失了通过Cube进行OLAP多维分析的灵活性

• 由于权限管理问题，同一类Cube要为全国30多个省分行建立副本，导致Cube数量达到2000+，大大增加了IT部门的运维难度和工作量

解决方案：

• 数据处理：业务数据存储在Hive中，通过Kyligence构建Cube

• 固定报表：通过BI报表工具连接Kyligence进行报表定制

• 数据探索：通过数据探索工具Kyligence Insight for Superset连接Kyligence进行数据可视化分析