“在墙下，但它会丢失。在数字企业大楼建设项目中，基础软件的重要性不言而喻。然而，对于所有行业来说，为传统商业模式设计的基础软件很难支持数字业务的创新。只有学习专业团队的经验，缩短基础软件的升级和探索时间，才能消除对业务和管理数字化的担忧，充分应对全球环境的风险和行业的不确定性。由InfoQ主办的首届DIVE全球基础软件创新大会将于2022年4月15日至16日在线举行，主题为“深入挖掘基础软件，打造新的数字基础”，打造基础软件领域最丰富、最前沿、最具技术性的行业大会。我们的目标是成为基础软件领域的基准。网易数字风扇两位高级架构师文燕辉和向东应邀出席会议，分别作了题为“网易数字风扇混合微服务架构下的统一治理实践”和“面向未来的分布式存储设计”的演讲。他分享了网易数码粉丝在支持网易业务和服务行业客户过程中积累的数字基础软件创新经验。文燕辉介绍了混合微服务技术架构存在的背景和当前面临的问题，统一治理需要解决的核心问题和难点，并提出了传统历史业务如何从框架向服务网格优雅升级。我们分享了如何通过产品设计使微服务的统一治理更加优雅。

自从微服务最早被提出作为架构设计模式以来，微服务技术已经在企业的业务架构设计中得到了广泛的应用。从开发框架的技术选择来看，Dubbo和Spring Cloud是目前主流的两种Java语言微服务开发框架，但有些公司基于私有内部框架，有些公司则不是完全的微服务。随着技术的更新和业务的快速发展，需要引入新技术来应对复杂的业务场景，业务技术架构在演进过程中面临着技术的“碎片化”。Java在企业应用开发中仍占有最大份额，无论是Spring Cloud还是Dubbo，gRPC，甚至是私有开发框架，都有服务治理的需求，以及如何实现不同微服务框架之间的互发现。统一治理是许多企业团队面临的一个问题。2.异构语言，对于不同的业务场景，使用不同的开发语言，可以更好地发挥语言特性的优势，例如使用C++开发高性能、低延迟的业务，使用Python开发人工智能、数据分析应用。这些异构语言应用程序需要统一的治理，例如提供流量管理、安全控制等功能。3、中间件难以统一治理，不同的微服务技术选择不同类型的注册表，有各种常见的数据和消息中间件，如配置中心、认证中心、MySQL、Redis、ES、Kafka等，如何进行有效的统一管理，就是云的高效效率、高效的管理。实现智能化维护也是业务团队的要求之一。4.运营环境已成为标准演进路线，随着云原生技术的发展，从物理机到虚拟机，随着容器化应用运营环境的变化，企业的业务部署也从私有云、公有云到混合云模式开发，实现资源弹性扩展，企业灾难防护要求，不同的基础环境，不同的业务层面有效屏蔽，需要做统一治理。此外，还有一些常见的基础技术组件和业务部署架构，这需要更加统一和标准化的设计要求，这些都体现在不同技术架构的不同维度和层次上。由于业务开发团队经常投入业务开发来支持业务发展，因此在技术演进过程中会产生各种技术债务，这也是企业在数字化转型升级过程中面临的痛点。

网易微服务团队多年来在内部和外部客户支持流程，特别是在微服务和云原生技术领域积累了大量经验和最佳实践，沉淀了一套企业级微服务集成治理平台。通过行业领先的非侵入式微服务治理技术、双引擎多模式统一治理、中间件PaaS管理等，解决企业在架构升级过程中遇到的技术难题，提供一站式微服务平台控制台。使企业用户能够以最小的转换和使用成本快速实现业务统一治理，使业务团队更加注重专业领域的业务发展，提高整个企业的研发效率，实现成本优化。此外，温燕辉在本次分享中指出，光舟微服务团队近年来在金融行业做了很多很好的案例，总结了金融行业的经验。通过提供全站分布式技术能力基础，以及两双中心、异地多活等业务架构支撑能力，帮助传统金融企业实现核心业务的分布式技术转型升级，最终实现全栈技术的国产化。实现自主控制的最终建设目标。网易数码迷开源云原生软件定义存储软件Curve的研发背景、面向未来的分布式存储设计结合应用场景，通过合理设计、存储优化细节以及Curve的发展方向和演进，展示了分布式存储架构的最新发展。Curve是一个分布式存储系统，包括CurveBS分布式块存储系统和CurveFS分布式文件存储系统两部分，目前CurveBS已在公司内部广泛应用，CurveFS正在开发中。

随着存储和计算的分离越来越多，越来越多的基于云的应用程序依赖于存储和计算的分离架构。存储和计算的分离可以灵活地扩展计算和存储资源，并根据需要进行分配。Curve是一个云原生存储系统，旨在满足存储隔离需求，具有高性能，易于维护和云原生功能。网易数帆选择自主研发的曲线存储系统主要有三个原因：1.代码量少，独立可控的统一分布式存储系统，Ceph代码量达到100W+，完全熟悉，很难掌握。2.现有开源存储系统发生故障时，对上层应用影响大，维护难度高，Ceph采用强一致性协议，导致系统发生故障时I/O频繁抖动;3.现有的开源存储系统不能提供更高的性能，以满足核心应用场景的需要，使用通用硬件。主要的挑战是有效地提高系统的可用性和可靠性，确保在系统发生故障时数据的一致性，并将故障的影响降到最低。为了实现CurveBS的简单操作目标，网易采用了RAFT协议。RAFT协议不仅可以维护数据完整性，还可以减少写I/O响应延迟。此协议只能在大多数复制副本复制请求成功返回时指示数据写入成功。为了提高数据的可靠性，网易在拓扑结构中采用了故障区域的概念，并使用复制集算法进行数据分布，从而最大限度地降低了故障发生时数据丢失的可能性。在线升级存储系统时，将采用特殊的客户端设计来确保存储系统的在线升级。

为了实现CurveBS的高性能目标，三大斧头主要是降低低级I/O写入放大、提高I/O数据吞吐量和降低I/O延迟。网易使用ChunkFilePool预先创建文件池，以减少I/O写入放大，使用DataStrip数据条（类似于RAID）来提高数据吞吐量，并使用零拷贝来减少I/O数据复制的开销。与CurveBS相比，CurveFS需要面对更复杂的负载和更多样化的应用场景。例如，考虑性能和容量的机器学习场景，快速跨云弹性发布的业务场景，低成本和高容量需求的业务，自动隔离中间件和冷数据，以及S3和POSIX集成访问要求。网易数码粉丝的解决方案是首先在元数据层面确保文件元数据的性能和空间线性可扩展性，然后使用RAFT协议来确保系统故障时数据的一致性和可用性，然后使用多层缓存来提高数据和元数据服务的性能。目前，CurveFS支持低级S3对象存储，并提供POSIX兼容的文件服务。网易数字风扇存储团队正在优化CurveFS的性能，并开发对CurveBS块存储的访问。

Tags： 存储 业务