科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网服务器频道Kyligence公司解决方案

Kyligence公司解决方案

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

Hadoop技术拥有低廉的存储成本、灵活的扩展架构,强大的并行处理能力,使得用户能够摆脱传统DW/BI技术在性能、成本方面的限制,对海量结构化或非结构化数据进行存储、加工、交互式多维分析

来源:业界供稿  2018-11-24 13:10:28

关键字:

  • 评论
  • 分享微博
  • 分享邮件

公司名称: Kyligence

公司介绍:

Kyligence (上海跬智信息技术有限公司)由首个来自中国的 Apache 软件基金会顶级开源项目 Apache Kylin 核心团队组建,是专注于大数据分析领域的数据科技公司。Kyligence 提供基于Hadoop 的企业级智能大数据分析平台,在PB(petabyte)级数据集上提供亚秒级查询响应和互联网级的高并发访问。

目前,Kyligence 已赢得了海内外多家保险、证券、电信、制造、零售、广告等行业的企业级客户。公司总部在上海,同时,在北京、深圳等地设有办事机构, 在美国硅谷设有分公司,目前,已获得来自红点中国、思科、宽带资本、顺为资本及斯道资本(富达国际自有投资机构)等投资机构的多轮投资。

解决方案介绍:

高性能的多维分析解决方案

背景

OLAP(Online Analytical Process,联机分析处理)是数据仓库系统最主要的应用,通过对业务部门常用的维度和指标进行建模和预计算,可以让业务分析人员快速、灵活地从不同业务视角对数据进行下钻、上卷、切片等复杂的分析操作,以达到深入理解数据的目的,从而更加高效地支持日常的业务运作。

需求

在面对不断增长的海量数据和爆发的分析需求时,传统BI工具的Scale up架构常常会陷入数据规模受限、Cube维度数目和容量受限、查询响应慢、并发支持能力差等技术局限,大大限制了OLAP分析的应用场景。IT运维方不得不每年投入大量经费对集群进行扩容,来满足日益增长的数据量和业务需求,这种方式成本高,周期长,效果也不理想。

解决方案

Hadoop技术拥有低廉的存储成本、灵活的扩展架构,强大的并行处理能力,使得用户能够摆脱传统DW/BI技术在性能、成本方面的限制,对海量结构化或非结构化数据进行存储、加工、交互式多维分析,以Hadoop技术为核心的生态圈业已成为大数据平台事实上的技术标准。

Kyligence依托Hadoop的HDFS分布式存储技术和MapReduce/Spark分布式计算引擎,能够提供万亿数据规模下的秒级查询性能。基于Scale-out架构的Cube技术,存储成本低,运维方便,性能稳定高效,支持高并发访问,且无需频繁扩容集群。另外,Kyligence提供对ANSI SQL的良好兼容性和丰富的ODBC/JDBC/Rest API接口,使得多维分析应用从传统数据仓库平台迁移到Hadoop平台的成本低,周期短。

Kyligence公司解决方案

解决方案优势/带给客户的好处:

Kyligence能够满足超宽表,超高基维度(千万级~亿级),超多维度组合(百级维度数),无容量上限的Cube构建需求,通过Hadoop强大的并行计算能力加速Cube构建时间,同时基于Kyligence独有的列式存储引擎技术,使得Cube的查询性能在秒级实现,从而支撑更广泛的业务应用和更佳的用户体验;另外,Kyligence提供线性扩展能力,轻松实现1000+的高并发支撑能力,使得多维分析平台开放给更广泛的业务群体成为可能,从而进一步提升企业运营和管理效率。

收益:
• 秒级查询性能:查询性能提升了约2000倍,平均达到5秒

• 更佳的Cube构建:Cube构建时间减少了75%

• Kyligence支持权限数据和Cube数据分离存储,迁移后Cube数量降低到几十个,减轻了运维的压力

• Kyligence同时支持Cube多维分析和明细数据查询,大大简化了原有的开发工作量

• 支持高并发查询:单节点单实例50并发/秒,且并发量可以根据业务增长需要进行水平扩展。

解决方案使用场景和案例:

案例

以某全国级金融企业为例,在全国有上亿客户,每天的交易明细数据超过10亿,一直以来深受传统数仓在数据容量、查询性能方面的限制,在将数据迁往Hadoop平台后,选择了Kyligence产品来建设其企业级多维分析平台。

痛点:

• 最大的Cube每天构建时间超过20小时,业务部门只能看到2天以前的数据

• 基于Cube的单次多维分析需要1小时才能返回结果,严重影响业务部门的工作效率和正常分析流程

• 将Cube数据固化成报表文件来提升查询性能,带来大量额外维护成本的同时,彻底丧失了通过Cube进行OLAP多维分析的灵活性

• 由于权限管理问题,同一类Cube要为全国30多个省分行建立副本,导致Cube数量达到2000+,大大增加了IT部门的运维难度和工作量

解决方案:

• 数据处理:业务数据存储在Hive中,通过Kyligence构建Cube

• 固定报表:通过BI报表工具连接Kyligence进行报表定制

• 数据探索:通过数据探索工具Kyligence Insight for Superset连接Kyligence进行数据可视化分析

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    相关文章
    最新文章