近日,由中国通信标准化协会承办的2025星河案例评选结果公布,国元证券数据仓库系统异构主备架构从935份申报案例中脱颖而出,获评数据智能底座专项“潜力案例”。

随着下游系统、应用场景的增加,数据仓库重要性不断提升,单平台的高可用性较难满足要求,因此启动数据仓库主备架构建设项目是必然之路。该项目达成了四个核心目标:一是完成信创大数据集群的搭建,项目基于海光CPU和麒麟操作系统,搭建了18个节点的信创大数据集群,能够满足数据仓库未来3年数据存储和计算需求;二是完成主备高可用集群搭建,项目总计完成100TB业务数据、2700张表元数据以及3300条用户权限数据的迁移,通过数据文件校验、表校验、分区校验等多种方式保证数据完整、准确迁移到新集群。三是完成计算引擎升级,通过将计算引擎由HIVE切换到SPARK,借助SPARK内存计算的优势,实现445个计算任务效率的大幅提高,任务计算时间平均减少60%左右;四是完成双集群并行验证,通过两个集群双跑并行的6个月窗口期,持续验证新集群稳定性与数据一致性。
作为公司首例大数据平台信创改造项目,攻克了大数据平台信创适配、异构平台主备同步等技术难点,提升了系统性能和稳定性。在项目实施过程中,团队成员积极参与,在实践中深入掌握大数据技术。
数据仓库新集群的建设,不仅构建起数据底座高可用架构的坚实壁垒,更筑牢了数据仓库信创转型的根基。下一步,数据仓库将锚定行业技术前沿,以技术迭代驱动服务升级,聚焦下游系统的数据应用体验优化,持续提供稳定、高效、准确的数据服务。