近日,国际权威IT咨询机构IDC发布《湖仓一体数据平台技术能力评估报告,2023》,从数据管理、数据存储、数据开发、数据安全、工程化落地、生态、覆盖行业等方向进行评估,筛选出10家代表厂商,以期望为企业管理者、技术开发者以及投资者提供建议参考。星环科技凭借新一代湖仓集一体架构技术,入选IDC《湖仓一体数据平台技术能力评估报告》代表厂商。
此前星环科技也曾凭借新一代湖仓集一体架构技术入选Gartner《2023年中国数据、分析及人工智能技术成熟度曲线》报告湖仓一体技术领域代表供应商。接连入选IDC、Gartner报告湖仓一体代表供应商,屡获权威认可,充分彰显了星环科技在湖仓一体领域的技术实力和独特优势。
星环科技湖仓集一体平台基于统一平台满足数据湖的实时接入、数据仓库的模型架构以及数据集市的在线分析等多种需求,让业务分析师、数据科学家、数据工程师等都能够访问实时数据、历史数据、贴源数据、加工过的数据。基于高性能存储格式Holodesk,只需一种存储格式即可同时满足湖仓集的数据接入、数仓加工和高性能数据分析,降低数据存储冗余,简化数据加工链路,提升业务时效性。同时,基于多种模型数据统一存储管理(11 种数据模型)、统一计算能力、统一接口,实现了数据跨模型的交互能力,帮助用户快速实现复杂业务,加速业务创新。
【资料图】
星环科技湖仓集一体平台具体优势主要表现在:
统一架构:打破传统Hadoop+MPP混合架构,真正实现湖仓集底层技术架构统一,支持11种数据模型,平衡极致易用和极致性能
降本增效:通过统一入口,统一计算、统一存储管理、统一资源管理大幅降低用户开发和管理成本,通过云原生调度实现资源最高效利用
流批智协同:批流一体协同开发,AI原生平台实现湖上数据与模型及算力天然打通,流式机器学习赋能实时智能
全栈工具:配套覆盖数据开发治理服务的全链路数据处理工具集,贯穿企业数据价值链路,实现数据驱动
统一管理运维:提供安装、配置、管理和监控能力、告警通知、日志生命周期管理、日志检索和可视化管理,提供用户操作审计与危险操作告警
数据安全与流通:基于联邦学习与可信计算技术确保数据可用不可见,保护数据安全,实现多源数据跨域流通及协作,解决数据保护与融合应用难题
极致性能:TDH是全球首个通过TPC-DS基准测试并经官方审计的产品,TDH9.3在TPC标准测试集中,再次突破了TPC-DS、TPC-BB、TPCx-HS 3个测试集的性能
相比于开源湖仓技术,如Hudi / Iceberg等,星环科技湖仓集一体在多项技术方面实现了提升和创新,帮助用户降低开发运维成本,提高开发分析效率,提升数据处理分析性能。
四种事务隔离级别:开源湖仓技术一般是基于快照的事务隔离,而TDH支持完整四种事务隔离级别,特别是在复杂的高并发比数仓业务场景下,用户可以根据业务需求调整事务隔离级别,满足不同事务处理的要求。
小文件灵活、自动合并:开源湖仓技术小文件需要手工合并管理,需要通过代码来调 ,维护成本较 。TDH具备灵活的多策略、独 资源来自动合并小文件,维护成本更低,读取性能更好。
实时数据快速读写:开源湖仓技术的实时数据写入基于Merge on Read,虽然写得快,但读起来很慢。TDH9.3优化了实时数据写入的合并逻辑,避免大量文件在读时再合并,实现写快读快,具有更好的分析和加工性能。
无需流转,湖仓集一体化存储:开源湖仓技术在集市分析场景下需要流转到外部分析引擎中,而基于TDH9.3的湖仓集一体架构,实现了湖仓集统一存储格式,数据 体化存储不冗余,也无额外数据流转开销,整体系统复杂度更低,综合时效性和性能更强。
自主可控,信创生态兼容:TDH是星环科技自主研发,并与主流信创生态厂商如国产CPU、GPU、操作系统、服务器、中间件等完成兼容适配,基于容器化技术支持异构CPU和多种操作系统混合部署,最大化利用资源,让用户逐步实现国产化平滑替代。
目前星环科技湖仓集一体平台已经在金融、政府、交通、邮政、医疗、能源等行业以及部分大型国有企业落地应用。
关键词: