筑牢数据存储底座,天翼云 HPFS赋能企业高效“掘金”数据

近年来,随着各行业数智转型逐步深入以及人工智能大模型的蓬勃发展,气象分析、大模型训练、自动驾驶、石油勘探、EDA仿真、基因分析等高性能计算(HPC)场景和智算场景(AI)不仅对算力需求激增,也产生了图片、视频等大规模非结构性数据,企业在实践中面临着数据量大、存储性能不足等问题,导致训练阻塞、算力利用率低甚至训练中断现象频繁发生。在此背景下,企业需要不断创新和优化存储系统技术架构,以便实现更加高效、可靠和灵活的存储解决方案。

作为云服务国家队,天翼云坚持科技创新,不断加快推进数据存储基础设施建设,创新推出并行文件服务HPFS(CT-HPFS,High Performance File Storage),助力企业构建高性能存储底座。天翼云HPFS支持全NVMe闪存和InfiniBand高速网络,并融入RDMA技术,可提供最高千万IOPS和TBps吞吐,同时保证亚毫秒时延。该产品具有高性能、高可靠性、高可扩展性的特点,可充分满足企业在HPC和AI等场景下的存储需求。

天翼云HPFS具备共享访问、弹性扩展、安全可信、性能优越四大产品优势。在共享访问方面,HPFS支持数千台客户端挂载同一文件系统,从而实现共享访问;无缝适配主流应用程序进行数据读写,满足多客户端并行计算场景需求。在弹性扩展方面,HPFS元数据采用集群架构,单文件系统文件数量可达百亿级别,文件系统支持在线扩展。在安全方面,HPFS采用多种EC纠删码方式、热备盘备份来保证数据的可靠性,同时,支持HA,故障时自动切换,服务可用性在99.90%以上,有效保障数据安全。在性能方面,HPFS使用100G以太网或IB、RoCE网络,性能随文件系统容量增长呈线性提升,同时可保证亚毫秒时延。

天翼云HPFS在高性能并行文件存储方向持续突破,面向HPC/AI场景大规模非结构化数据及性能深度优化,保障用户数据安全、实现高效存储。

在HPC场景,天翼云HPFS支持并行计算MPI-I/O(Message Passing Interface)接口,在多客户端同一时间并发读写同一个文件时,通过字节粒度锁机制,保证文件一致性,大幅提高多客户端读写同一文件的性能。

在AI应用领域,天翼云HPFS支持万亿参数大模型,助力客户构建高速大模型训练平台,根据不同AI业务流程特点,灵活调用存储服务能力,满足数据预处理、训练、仿真等数据存储能力的要求,并大幅提升训练数据读取和checkpoint回写速度,降低企业AI训练成本投入,加速模型迭代。

未来,天翼云将继续加大数据存储产品技术创新,以扎实的数据存储能力,为客户打造高性能存储底座,持续推动技术创新与产业协同发展,为构建安全、高效的数据基础设施贡献力量。

本网信息来自于互联网与网友投稿,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。https://yz.zjcxinw.com/11120.html

(0)
上一篇 2024年8月13日 下午2:48
下一篇 2024年8月13日 下午8:39

相关推荐

  • 创新连接技术:中国星坤PCIEX1303连接器的优势剖析!

    在数字化时代,高速数据传输的需求日益增长,连接器作为电子设备间沟通的桥梁,其性能直接影响着数据传输的效率。中国星坤推出的PCIEX1303连接器,以其卓越的性能和创新技术,满足了市场对高速、高稳定性连接器的需求。 PCIEX1303连接器采用了先进的技术和材料,保证了连接的稳定性和可靠性。它具备优秀的信号完整性,减少信号干扰和衰减,确保数据传输的准确性。这一…

    2024年10月15日
    0
  • 国云实力担当!2024第三届XOps产业创新发展论坛天翼云揽获多项荣誉

    近日,由XOps大会组委会主办的“2024第三届XOps产业创新发展论坛”在北京召开。大会主论坛公布了2024上半年XOps最新评估结果,天翼云顺利通过ITU DevOps国际标准-DevSecOps评估和DevOps国内标准《研发运营一体化(DevOps)能力成熟度模型第6部分:安全及风险管理》2级能力成熟度评估,代表了天翼云安全达到国内领先水平,也是当前…

    2024年8月2日
    0
  • 重磅升级!天翼云大模型训推一体化服务能力升级发布会即将来袭

    去年以来,人工智能迎来新一轮发展浪潮,各类大模型发展如火如荼,并进一步深化与实体产业的融合。从制造到医疗,从金融到政务,大模型以强大的数据处理和智能决策支持能力,为产业升级注入新活力,逐渐成为推动各行业高质量发展的关键驱动力量。伴随大模型遍地开花,相关扶持政策也陆续出台。今年,“人工智能+”首次被写入政府工作报告,报告强调,深化大数据、人工智能等研发应用,开…

    2024年9月3日
    0
  • 人工智能模型训练推理基地建设正式启动,天翼云赋能内蒙古绘就数智发展新篇章

    近日,2024中国绿色算力(人工智能)大会在呼和浩特开幕。大会以“共筑绿色算力网络,共赢人工智能未来”为主题,邀请院士专家、标杆企业齐聚敕勒川草原会议中心,共话绿色算力和人工智能发展。天翼云科技有限公司副总经理黄洪波参加大会主论坛,出席人工智能模型训练推理基地建设启动仪式。 作为绿色算力大会的重要组成部分,中国电信以“国云注智 聚力向新”为主题召开智算云平行…

    2024年7月3日
    0
  • 华为助力推动江西省制造业数字化转型

    2024年10月25日,2024数据产业创新发展大会暨华为数字中国行·江西新质生产力峰会成功举办。大会聚焦数据要素行业最新研究成果,邀请了众多领导、院士、专家学者和行业领袖分享洞见,并举办了项目签约、揭牌仪式等活动。华为中国政企CMO邱恒和华为江西政企总经理铁会来出席,分享了华为在江西的战略布局与实践经验。 江西,尤其是赣州,正积极推动数字化转型,展现出勃勃…

    2024年10月28日
    0