科技芯资讯是专业科技新媒体网站。网站著眼于新一代科技新闻的全面及时处理报导,让网民在外面第二时间交待全球新一代的科技资讯。内容涵括AI+、互联网、IT、创业投资、核定、区块链、智能硬件等领域

首页 >  移动互联 正文

做强技术,做好产品,用Sophon开启国产化数据分析新时代

juzi 1970-01-01 08:00:00 移动互联 0℃

2021年“十四五”规划提出,要“加强信息技术基础研究,加强重大技术创新,加强市场化和产业化引导,加强重点领域核心技术不足的关键突破和集中研究”。随着各地方政府“信创”(信息技术应用创新)政策的延续,贵州省、湖南省、广东省、天津等地相继出台了“十四五”信息技术产业发展规划。其中,深圳市对新创项目提供3%的补贴,规定各行业新创采购比例不得低于20%~40%。此外,《软件和信息技术服务业“十四五”发展规划》提出了更高的要求:“到2025年,中国规模以上企业软件业务收入超过14万亿元,复合年增长率超过12%”。综合各方面因素,中国的创新已经从计划-实施-着陆阶段进入了快速发展的关键时期。这一阶段不仅促进了中国技术的自主控制,还促进了政府、金融、电信、能源等民生行业的数字化转型。Xintro专注于“创造”,产品创新,技术创新,为用户创造更好的价值,更好的产品性能和体验。国产基础软件更好地了解中国的情况,更好地了解中国客户的痛点,更好地适应中国庞大的数据量和丰富的数据类型。分析工具还具有本地化、平稳迁移的方案,数据处理量大、功能丰富的大数据分析工具可以帮助用户更灵活、更高效地进行数据分析,挖掘数据价值。随着数据量的激增,深度学习算法的迭代和创新,SAS和SPSS等集中式分析工具越来越难以满足更快、更高效、更灵活和更低成本的需求。例如,在使用SAS的过程中,用户可能会遇到以下问题:首先,它相对封闭,用户无法授权单个功能,使用成本较高。其次,SAS专有的机器学习算法是有限的,深度学习算法依赖于外部环境,比如Python嵌入式支持,用户无法灵活地获取新算法。第三,SAS在分布式读写和计算方面存在局限性,难以有效支持大数据处理和大规模机器学习,在实时计算方面无能为力。此外,SAS是一种过程性语言,代码量大,再加上闭源功能,SAS社区不如开源语言那么活跃。随着R和Python的广泛使用,SAS的人才短缺,这给组织高质量的团队带来了困难。Sopon Base是一个企业级分布式机器学习平台,拥有完整的算法和丰富的运算符,包括统计、机器学习、深度学习等,支持从数据访问、数据处理到模型培训、服务部署和在线监控的一站式可视化流程。它具有开源计算框架生态、分布式计算性能、低成本、高开放性等特点。

图1:Sofon与SAS的功能对比基于多年的行业积累和项目实践,Starring Technology建立了模型迁移方法论。该过程分为八个阶段:业务理解、数据理解、元模型理解、数据准备、模型迁移、评估报告、应用和测试。星环科技SAS平稳过渡流程注重实际的运营问题,强调解决客户的运营痛点,创造实际的价值。在了解用户业务、数据和元模型后,进行相应的数据准备,包括框架设计、数据处理、方案设计等。一旦数据准备好了,模型迁移就会发生。这个阶段主要包括代码逻辑架构的组织设计、模型验证等。模型迁移后,评估迁移效果,并验证迁移前后的准确性、一致性和优化效果。最后,您将部署在线以支持您的业务,不断跟踪您的业务,不断优化您的模型并评估结果。完整的迁移流程可确保从SAS到Sophon的平稳、安全的过渡。Sophon提供完整的SAS模型迁移功能。与SAS相比,迁移到Sophon后,它可以支持多源异构数据访问、丰富数据处理、多框架模型培训和发布、模型部署和维护等全过程,并通过多源数据和建模流程的灵活组合,有效支持综合场景。访问Sopon构建的200多个高性能分布式AI运算符,以及对完全覆盖SAS独特建模功能的自定义运算符的支持。此外,Sofon还提供了额外的支持,如模型可解释性、联合学习等,以更好地支持模型的业务应用。通过集中管理、发布和监控模型,企业可以为企业客户提供简单、易用且稳定的解决方案,从而更好地释放数据的价值。方差分析工具的性能如何?在银行交易中,20%的主要客户占银行利润的80%,吸引新客户的成本是留住现有客户成本的5-6倍。因此,如果能够提前预测潜在的客户流失,防止客户流失引起的管理危机,对提高银行的竞争力具有重要的战略意义。在此之前,大型国有银行在面对此类数据挖掘业务时,会使用SAS产品。由于SAS是集中式的,对单台服务器的要求太高,计算能力无法支持需求,无法支持可视化机器学习,因此对业务人员来说门槛太高。经过产品选择,我们决定用星联科技的智能分析工具Sophon取代SAS,以满足银行对全批量数据挖掘的需求。分布式软件架构在实战过程中证明了大数据处理性能的优势,逐步取代了原来的集中式架构,完成了大型国有银行所需的大规模数据挖掘任务,性能更好。表1:产品分析产品名称SASSophon架构类型集中式分布式应用场景小数据量数据分析大数据量大数据分析可视化不支持机器学习业务人员使用门槛高,编程基础低,操作简单在中高端客户损失预警模型建设中,基于Sterling Technology的分布式智能分析工具Sopon,银行利用中高端客户短期资产损失与长期资产损失之间的高度相关性,通过逻辑回归模型提前识别高端客户群近期潜在流失。模型训练主要选择客户的基本属性、持有的产品、交易状态、账户状况、渠道偏好等变量,经过综合考虑,给出客户高端客户的损失水平评分,得分高低决定损失的可能性。Sofon为用户提供了一个统一的平台,涵盖了数据收集、访问、模型构建、测试、管理、知识计算和推理以及决策支持的整个过程,从而大大提高了用户建模的整体效率。该模型启动后,银行根据客户流失率对个人客户进行评分,评估数据显示,流失率得分最高的前10%客户的实际流失率达到20.2%,与全量数据流失率5.9%相比,流失率预测效率提高了242%,前10%客户覆盖率达到34.2%。换句话说,银行只需对流失率得分最高的前10%的客户进行营销活动,就可以覆盖总流失率的34%,从而有效地提高流失率恢复的效率和效果。高端客户流失预警模式支持客户管理人员对优质客户的日常维护工作,定制差异化、个性化的产品、服务和营销策略,防止客户流失。除了机器学习建模,Sophon还能支持哪些高级应用?除了Sophon Base,一个专注于机器学习和深度学习的数据科学平台,还有Sophon Edge,一个边缘计算平台,可用于计算机视觉场景和工业互联网场景。Sophon KG知识图谱平台可用于构建知识库、智能问答等。Sophon P2C是一个隐私计算平台,可用于内部和外部数据安全流和联合建模等场景。综上所述,用Sophone的分布式架构取代国外集中式数据分析软件后,用户除了数据处理量和建模性能呈指数级提升外,还可以具备边缘计算、知识图谱、隐私计算等高端AI场景的支持功能。它可以有效地支持企业的数字化转型和未来智能场景的扩展。迄今为止,Sterling科技智能分析工具Sophone已服务于郑上升、中国银行、工行等金融机构、外交部等政府机构、国家网、南方网、中国其他能源用户、人民网等媒体用户、上汽红岩、中国烟草等制造用户。它已在许多医疗和研究机构落地。此前,索丰被选为工业和信息化部人工智能产业创新任务“上市产品”,并为上海数据交易所提供数据元素流通服务产品工具集。2021年至2022年,Gartner连续两年被评为增强数据分析技术推荐供应商,并入选Gartner大中华区人工智能创业基准公司、中国分析平台市场指南等权威报告。“科技自主”还有很长的路要走,技术自主研发是唯一的出路,在频繁发生的供应中断事件和国内外政策的利好下,软件自主权和信息安全保障成为重中之重。数据是企业的资产和生命线,数据安全是企业要保护的第一道墙。在使用国外开源组件或成套服务的过程中,无法避免供应中断的风险,如许可协议变更或拒绝提供安全相关模块,始终受制于国外法律和国际形势。要实现“科技自主”,我们只能把技术牢牢地掌握在自己手中。作为国内大数据领域的重要参与者,Sterling技术实现了完整软件堆栈的自主研发,性能优于国外同类基础软件产品。未来,Sterling将继续自主研发大数据基础软件领域的关键技术,推动国家数据和信息安全等行业的发展,为客户提供安全可靠、性能优异、兼容的基础软件产品。

Tags: 数据 客户