眼球
云原生数据中台袋鼠云数栈DTinsight40赋能企业智能化转型
发布日期:2022-05-13 11:00   来源:未知   阅读:

  数据中台作为数字经济时代的新基建,能够帮助企业搭建数据信息于一体、开放共享、安全可靠的数据共享中心,最终实现数据驱动业务的新模式。9月17日,行业领先的企业数字化基础设施供应商袋鼠云,联合爱分析在杭州西溪宾馆首次举办了2020DDIC数智+行业峰会暨数栈战略发布会。本次峰会由浙江省工业和信息化研究院、长三角数字经济产业联盟、浙江大学智云实验室、杭州数字经济联合会、未来科技鲲鹏企业联盟为指导单位,36氪、极客学院、双态IT联盟、B.P数字生态商学院协办。规模宏大,话题前沿,从技术到方法论再到实践,亮点颇多。其中,数栈DTinsight4.0:云原生数据中台产品发布更是成为全场焦点之一。

  累计数亿元研发投入,近五年全身心迭代打磨数栈DTinsight4.0具备天生云原生、自研核心引擎、金融级安全三大特性,覆盖数据源采集、离线计算、实时计算、数据挖掘、数据治理、数据资产管理、数据共享服务等整个数据中台生命周期。袋鼠云数栈事业部总经理闵佳在《数栈DTinsight4.0:云原生数据中台产品发布》中表示:数栈DTinsight要成为中国企业数字化首选平台。

  在考虑到客户环境的复杂性和多元性后,数栈DTinsight4.0采用了微服务的架构,把各个子产品之间解耦化,每个产品内部服务也会按照一定逻辑进行拆开,从而采用标准化的容器方式进行产品部署,可以实现30分钟完成产品的交付。实现弹性扩容则是天生云原生的特点之二,可以根据不同时间点,计算集群的负载情况,自动扩容,这样就可以很好地提升资源利用率。天生云原生的特点之三,是存储计算分离,可以有效解决很多场景下对于计算资源和存储资源要求不匹配,以及资源利用不均衡的弊端。同时数栈DTinsight4.0也实现了调度的统一化,几大开发平台全部采用容器化方式做调度,能够保证不同任务之间的隔离性和安全性。服务API化是天生云原生的第四大特点,数栈DTinsight4.0中采用了声明式API方式,执行效率更高,可为后续的持续产品迭代留非常大的升级空间。

  自研核心引擎包括FlinkX、DAGSchedulerX和EasyManager。引擎FlinkX实现了分布式同步,一种框架可以去支持实时采集和离线采集两种场景要求,可以实现100%以上的开发和管理效率的提升。DAGSchedulerX在单台两核CPU 8G内存的配置下,可以实现百万级任务的并发调度,并可支持几十种任务在平台上调度,保证任务的稳定运行。同时可以实现对新引擎、新版本的快速兼容,实现10倍以上兼容效率的提升。

  金融级安全也是袋鼠云一直持续打造的产品核心能力。数栈DTinsight4.0通过多数据中心容灾的方式,可以实现零数据的丢失,并基于多集群、多租户、多项目的管控方式,实现数据资源的隔离,保证数据安全。同时,通过数据层加密、脱敏等手段,实现数据的可收、可管。另外,由于在很多场景下,当面临大规模任务调度时,数栈DTinsight4.0可以自动做到计算资源的弹性扩展,这样可以保证集群稳定运行的同时,还可以让任务及时获取到足够的资源,及时运行出结果,支撑数据业务的发展。而对一些高危操作,比如删表或者下线任务,数栈DTinsight4.0后台都会做到自动预警,保证整个平台的安全性。

  袋鼠云成立至今一直在结合市场需求变化对数据中台产品数栈DTinsight进行打磨,近5年来数栈DTinsight经历了几百次迭代、四次版本飞跃。

  在产品研发和迭代过程当中,袋鼠云除了做好产品本身的功能迭代和场景迭代之外,也非常重视和强化产品的基础能力、技术能力。数栈从1.0到4.0逐步打造数据平台化核心能力、数据资产化核心能力、数据服务化核心能力、算法智能核心能力,真正拥有自主可控的云原生数据中台核心技术。

  致力于成为云原生数据中台基础设施的数栈DTinsight可以应用到众多数智场景,数据化运营、智能化应用、可视化大屏、数据化运维等,这些可应用的数智场景可以布局到众多行业生态中,金融、零售、政务、电力、工业、农业、文旅、教育等。而在此次峰会中,就有来自各个行业的负责人分享了数栈应用的实例。华夏银行杭州分行信息科技部负责人朱萧峰表示,银行业目前都采用系统集中、数据集中的模式,对分行的管理存在“一收就死、一放就乱”的问题。与袋鼠云共创的分行数据集市应用云平台,具备完善的大数据工具链,采用总分2级架构设计,满足总行管理+分行灵活的需求,在此基础上,定制了一键数据下发、模型管理与OLAP加速、集成BI等功能。平台上线后,彻底改变了总行数据下发的工作过程,真正做到了数据的集中存储与管理,同时在集群运维方面释放了分行的精力,大幅提升了分行的数据应用开发效率。

  招商证券相关负责人也表示:随着证券交易数据越来越多,证券公司需要对数据进行实时计算和实时监控,进而快速处理问题、响应客户。基于此,招商证券对于客户统一识别、账户查询、反洗钱、客户运营等方面有了更高、更新的要求。袋鼠云基于数栈 DTinsight帮助客户构建实时数仓,实时汇聚证券交易、融资融券、个股期权等多个领域数据流,推进企业UCM(统一客户模型)体系构建,解决超大规模数据计算问题,满足秒级响应需求,快速响应各业务系统数据应用需求。招商证券只需要关注业务逻辑及数据建模,通过SQL化开发,可快速响应业务部门实时数据需求。基于数栈 DTinsight平台,招商证券进行实时数据开发的效率提升2倍以上,实时任务排错及解决时间减少了80%,实时业务消费数据的时效从秒级提升到毫秒级。

  数字正在积极改变人类生产生活方式,深刻改变社会治理能力,已经成为中国新时代最鲜明的标志。可以这样说,以数字经济带来产业变革,已经成为中国经济从速度型向创新型跨越的重要动力。发展数字经济,已经成为这个时代最大的共识。历经5年不断的打磨和迭代,数栈DTinsight4.0的到来,将会赋能数字经济,加速企业数字化转型,助力企业抢占新时代的至高点。

湖南山水节能科技股份有限公司是一家专业从事流体系统节能服务和流体节能装备制造的集团化公司。本着“应用最优技术、产品和服务,为客户提供系统解决方案,提高流体系统能效,共建资源节约型社会”的企业使命,运用流体输送“4A”高效节能技术对流体系统进行整体分析设计,采用EPC(合同能源管理)方式与客户双方共赢,励志成为流体节能领域最具影响力的系统服务商。