科技芯资讯是专业科技新媒体网站。网站著眼于新一代科技新闻的全面及时处理报导,让网民在外面第二时间交待全球新一代的科技资讯。内容涵括AI+、互联网、IT、创业投资、核定、区块链、智能硬件等领域

首页 >  网络动态 正文

构筑开放式大数据架构,Apache Kyuubi和NDH荣登开源OSCAR

juzi 1970-01-01 08:00:00 网络动态 0℃

在9月16日召开的“2022OSCAR开源产业大会”上,中国信息通信研究院发布了一系列开源研究成果和开源表彰,网易数字粉丝发起的开源项目Apache Kyuubi荣获“OSCAR峰值开源项目和开源社区”奖。多个大型数据库平台NDH荣获“OSCAR峰值开源技术创新(二次开发)”奖。

此外,网易数帆推出的云原生开源项目Slime和Curve分别获得了“可信开源社区(TWOS)”和“TWOS银河项目成员”认证。“OSCAR开源高峰案例”旨在为开源行业的发展树立一个标杆,一个树模型,已经实施多年,被誉为中国开源领域的奥斯卡,值得信赖的开源社区致力于推动开源社区的发展和落地应用。网易数码迷在权威评选中获得认可,再次证明了公司构建的开放式大数据架构的先进性,以及践行“开放式架构、开放式内核”理念的决心。

Apache Kyuubi:成熟的社区和毕业能力Kyuubi诞生于一个封装Spark SQL的服务,为开源大数据世界带来了多租户、高可用性和分布式等企业级功能,并因其实用性吸引了社区用户的注意。2021年6月,Kyuubi项目进入Apache软件基金会孵化,并在Apache Way的指导下以更快的速度开发。凭借其独特的架构设计,Apache Kyuubi快速迭代,完成了对除Spark之外的Flink 、Trino(Presto)、Hive等主流计算框架的支持,成为Lakehouse上的无服务器SQL服务,支持更丰富的大数据场景应用,支持网易、阿里云、腾讯云、小米、华泰证券、奇威证券、丁祥元、eBay、T3Travel、携程、Bipili、womply、Houzz等。目前已被KT NexR等近百家国内外企业采用。

在网易开放的大数据架构中,Apache Kyuubi被视为集成SQL网关,掩盖了整个系统不同存储、计算和查询引擎的差异,并支持数据中间站。Apache Kyuubi的进化,经过不到15个月的孵化,社区中有93个代码贡献者,来自网易外部的贡献者比例占到80%以上,充分体现了社区主导的力量。近日,Apache Kyuubi被中国开源软件促进联盟编辑的《中国开源发展蓝皮书2022》和InfoQ研究院编辑的《中国开源发展研究分析2022》评为中国开源大数据基础设施的代表。在整个社区的不懈努力下,Kyuubi从Apache基金会毕业,离他成为Apache基金会顶级项目的目标不远了。Apache Kyuubi的项目性能和社区发展得到了OSCAR评审团的高度评价。NDH:我是左Spark,右Impala,Kyuubi,作为企业级大数据基础平台,网易拥有一系列核心功能的大数据基础平台NDH。一个是兼容的,并增强了Hadoop系统组件;二个是完全独立掌握核心代码,帮助企业从原来的大数据平台平稳过渡。更重要的是,有一批大数据基础平台NDH都是基于最新开源技术构建的,在业务支撑能力和性能方面都有着出色的表现。

许多大数据库平台NDH都内置了各种存储计算引擎,这些引擎增强了Hadoop、Spark和Impala等核心组件的功能和性能。(例如在Impala上实施虚拟数据仓库功能),并增加了对维和任务的智能行动和治理能力,以支持企业级安全控制。这些能力提升是大规模生产落地的结晶,也得到了评委专家的认可。一些大数据基础平台NDH最初是作为网易数字帆数据平台的基础提供的,今年6月作为单独产品发布,由于市场需求,这一举动也引发了业内热议--网易数字帆为何要进入这一“坏生意”。然而,该产品在Impala和Kyuubi的积累和优势给从业者留下了深刻的印象。目前,一些大数据库平台NDH已应用于银行、证券、分销和制造业的300多家企业客户的生产环境中。曲线和曲线:开源云原生基础设施Apache Kyuubi和一些大数据基础设施NDH是网易数字Fan开源大数据架构,是开源项目和商业产品的代表,Slime和Curve是网易数字Fan开源云原生基础设施的两大支柱。分别填补了服务网格智能管理与国内高性能云原生存储之间的空白。由于其生态定位、建筑设计的独特性和社区发展的前景,Slime社区和Curve社区分别受邀成为值得信赖的开源社区(TWOS)成员和TWOS银河计划成员,共同参与项目质量、社区发展等方面的工作。加强开源社区之间在商业模式等主题上的沟通与合作,不仅改善开源云原生基础设施生态,还促进国内开源产业健康快速发展。未来,网易数码粉丝将继续秉承开放的心态,在坚实的产品实力和先进的技术实力的支持下,团结社区合作伙伴,为构建开源生态做出贡献。

Tags: 数据 开源 社区 He