高性能计算 (HPC) 是指通过聚合计算能力来提供比传统计算机或服务器更强大的计算性能。高性能计算 (HPC) 或超级计算和日常计算一样,区别只在于它的计算能力更强大。它能够通过聚合结构,使用多台计算机和存储设备,以极高速度处理大量数据,帮助人们探索科学、工程及商业领域中的一些世界级的重大难题。
目前,HPC 多用于解决性能密集型复杂问题,越来越多的企业将其 HPC 工作负载迁移到云端。云端 HPC 将极大优化产品研究和开发的经济效益,因为它可以减少对原型的需求、加快测试速度并缩短上市时间。
在实际应用中,有一些工作负载(例如 DNA 测序)对于任何一台计算机来说都过于庞大。对此,HPC 或超级计算环境可以使多个节点(计算机)以集群(互联组)的形式协同作业,在短时间内执行海量计算,从容应对这些规模庞大而又极其复杂的工作负载挑战。此外,由于支持在云端自动创建和删除集群,HPC 还能有效降低成本。
HPC 支持多种类型的工作负载,其中常见的两种是并行工作负载和紧密耦合工作负载。
指被细分为多个小型、简单、独立任务的计算问题,这些任务可以同时运行,通常相互之间几乎没有通信。例如,一家企业可能向某节点集群中的各个处理器核心提交了 1 亿条信用卡记录。其中,处理一条信用卡记录即是一项小任务,当 1 亿条记录分布在整个集群上时,1 亿个小任务就能以惊人的速度同时(并行)执行。并行工作负载的常见使用场景包括风险模拟、分子建模、上下文搜索和物流模拟。
通常占用较多的共享资源,并分解为相互之间持续通信的小任务。换言之,集群中的各个节点在执行处理时会相互通信。紧密耦合工作负载的常见使用场景包括计算流体动力学、天气预报建模、材料模拟、汽车碰撞仿真、地理空间模拟和交通管理。
数十年来,HPC 一直在学术研究和行业创新中扮演着重要角色。它帮助工程师、数据科学家、设计师和其他研究人员更经济、更高效地解决了许多大型复杂问题。
HPC 的主要优势包括:
如今 HPC 越来越流行,几乎每一个行业的财富 1000 强企业都在使用 HPC。Hyperion Research 数据显示,2022 年全球 HPC 市场规模预计将达到 440 亿美元。
以下是 HPC 在一些行业中的应用以及相应的 HPC 工作负载类型:
HPC 可以在本地、云端或混合模式下运行。
在本地 HPC 部署下,企业和研究机构可构建一个由服务器、存储解决方案和其他基础设施构成的 HPC 集群,并自行管理和升级。在云端 HPC 部署下,云技术服务提供商负责管理基础设施,企业和研究机构可以直接使用并按用量付费。
另外,一些企业会选择混合部署模式,尤其是已经投资购置了本地基础设施,但又希望获得云技术的速度、灵活性和成本节省优势的企业。当本地部署中的排队时间过长时,它们就会使用云技术来运行 HPC 工作负载,按需使用云技术服务。
本地部署模式下,企业可以全面掌控 HPC 运行,但同时也面临一些挑战,包括:
考虑到本地部署环境的成本和其他挑战,云端 HPC 部署越来越受欢迎。据 Market Research Future 预测,从 2017 年到 2023 年全球云端 HPC 市场将增长 21%。在云端运行 HPC 工作负载,企业只需按使用付费且可在需求发生变化时快速扩容或减容。
如今,为了赢得和留住客户,顶级云技术提供商开发了专为 HPC 工作负载而设计的领先技术,可以有效避免本地 HPC 设备老化带来的性能下降。它们可以提供最新、最快速的 CPU 和 GPU 以及低延迟闪存存储、极速 RDMA 网络和企业级安全性,提供全天候服务可用性,尽可能降低甚至消除排队时间。
目前市场上各个云技术提供商的实力不尽相同,某些云技术并非专为 HPC 而设计,无法在工作负载高峰期提供所需的性能。因此,在选择云技术提供商时,请重点考察以下 4 点:
要想实现所需的 HPC 结果,请选择能够提供更高控制力和性能的裸金属云技术服务。与 RDMA 集群网络相结合,裸金属 HPC 可实现与本地硬件不相上下的效果。
如今很多行业的企业和机构纷纷开始采用 HPC 来推动业务增长,这一趋势预计将持续多年。到 2023 年,全球 HPC 市场预计将从 2017 年的 310 亿美元增长至 500 亿美元。其中,大部分增长将来自云端 HPC 部署。得益于云技术性能的持续发展,云技术将变得更可靠、更强大。云端 HPC 部署将为企业节省数百万美元的数据中心基础设施和相关成本。
此外,在不久的将来,HPC 有望与大数据融合,即通过同一大规模计算机集群来分析大数据,运行模拟和其他 HPC 工作负载。而随着这两种趋势的融合,HPC 的计算能力和容量将变得更加强大,将更有力地推进更具突破性的研究和创新。
i Earl Joseph、Steve Conway、Bob Sorensen、Alex Norton。Hyperion Research 更新:ISC19。https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf
注:为免疑义,本网页所用以下术语专指以下含义: