澳门银河官网

首页 > 正文

新兴高性能计算行业应用及发展战略

www.esmanchetes.com2019-07-28

在过去的20年中,高性能计算应用程序的广度从未扩展过。以数据驱动或数据密集型计算为特色的高性能计算应用正在兴起,人工智能技术是新的和传统的。计算应用中的成功应用涵盖生物信息学和生命科学,智慧城市和城市治理以及网络信息安全领域。反过来,这些应用对高性能计算技术产生巨大影响,包括矩阵并行解决方案技术,高性能大数据处理技术和智能芯片技术,并促进高性能计算技术的创新。

新兴的高性能计算应用正在快速增长

新兴的高性能计算行业应用程序主要是数据驱动的应用程序,从智能城市到生物信息学,再到基本粒子物理学,天文学和宇宙学。数据密集型计算是其主要的计算行为特征。

高性能计算广泛应用于智能城市

2008年,小发猫展示了智慧地球的愿景,并出现了智慧城市的概念。交通拥堵,环境污染,气候变化和犯罪率上升等一系列问题降低了城市的宜居性和生产力。智能城市利用各种传感器收集的数据汇总成高性能计算平台,在综合处理的基础上为城市决策,社会生产和居民生活服务。整个城市各种传感器和物联网设备收集的数据已经爆炸。 2018年,中国的总数据约为7.6 ZB(1 ZB=1021字节),占全球总数的23.4%。据估计,到2025年,中国的总数据将增长到48.6 ZB,占全球总数据的27.8%,中国将成为世界上最大的数据圈。

大规模数据的产生对数据管理和处理技术构成严峻挑战。如何准确地从各种非结构化视频数据中提取目标信息,包括人,车,物体和各种行为信息,仍然是视频信息处理中的难点。未来的5G通信技术可以提供极快的传输速度,支持更多的终端访问,并减少延迟时间。在大大缩短通信时间之后,“请求 - 响应”时间的长度对于实时计算而言更高。作为支持智能城市深度开发和广泛应用的核心技术,高性能计算也面临着机遇和挑战。

目前主流的型号服务器支持10-100通道视频实时处理。大城市的监控视频达到了100到100万个摄像头,后台处理可能需要10,000个节点。

高性能计算在生活信息领域继续扩展

生物计算,包括DNA数据处理,蛋白质结构预测,大脑模拟等,在过去20年中已经显示出快速发展。大多数这些计算也是数据密集型的。

在遗传数据处理应用中。高通量测序技术的进步推动了基因数据的爆炸式增长。然而,DNA包含信息的复杂性仍然为数据分析算法带来了新的挑战。机器学习用于基因组分析和预测的许多方面,例如转录起始/剪切/TF结合位点的识别,基因功能/疾病表型的预测等。深度学习应用的最新突破在预测性能方面超越了许多传统的统计推断算法,在癌症诊断,临床遗传学,作物改良,流行病学,公共卫生,群体遗传学,进化,基因组学中的功能基因组学方面的机器学习都具有明显的发展潜力。目前,大多数问题的预测能力还没有达到实际应用的预期,而这些抽象模型的解释并没有明确的深刻理解。如何有效地利用机器学习来获得更强大和智能的基因组解释功能,您还需要探索依赖于特定任务的机器学习模型。

在蛋白质结构预测的应用。蛋白质结构预测和设计对于理解蛋白质的结构和功能是重要的。蛋白质是所有生命系统的物质基础,但其生物功能需要将蛋白质正确折叠成特定的三维结构。蛋白质折叠研究也是药物设计的基础。诸如X射线,核磁共振(NMR)和蛋白质3D结构的低温电子显微镜的实验方法是常见问题,例如昂贵的设备,高时间和劳动力成本。计算预测方法的发展可以自动,快速和准确地将未知蛋白质序列分类为特定的折叠类别,已成为计算生物学家长期努力的方向。使用深度卷积神经网络和幸存网络以高精度预测蛋白质中的氨基酸 - 氨基酸接触并直接预测蛋白质3D结构重建是最近的热点。谷歌DeepMind改造了AlphaGo并开发了AlphaFold,这是一个预测蛋白质折叠的程序,并参加了全球蛋白质结构预测竞赛CASP13,取得了优异的成果。麻省理工学院(MIT)的Belprer和Berger使用人工智能(AI)技术直接从氨基酸序列预测蛋白质分子的生物学功能。

在大脑模拟和脑科学应用。人类脑部病变的经济和生活负担远远超过其他领域,并已成为全球残疾的主要因素。 2013年,欧盟启动了“人脑项目”,有15个欧洲国家参加,预计将为10年。该计划侧重于使用超级计算机技术通过研究大脑连接图来模拟大脑神经网络功能。自该计划以来,其他国家都提出了自己的大脑计划。人脑由大约1010个神经元和1014个突触组成。现有的模拟研究主要用于细胞块模拟,其规模约为105个神经元。小规模模拟具有明显的局限性,其中约50%的神经元连接的突触分布在块外,功能环在整个脑中完成,块之间的相互作用是显而易见的。全脑模拟计算量巨大且难以在此阶段实现。目前,已经实现的最大的脑网络模拟基于开源软件NEST。该网络由1.51×109个神经元和1.68×1012个突触组成,在日本超级计算机K上运行全节点模拟(88个128节点,每个节点8个核心,2 GHz,16 GB RAM)。模拟达到了人类大脑的10%。

在创造新药。高性能计算可以在加速药物开发和降低药物开发风险方面发挥重要作用,如超大规模筛选药物先导化合物,大规模寻找潜在药物靶点,准确计算蛋白质配体自由结合能量,准确计算电子水平。目标药物的共价和非共价效应,复杂的生物系统模拟,药物网络相互作用等。国内,北京大学,上海药物研究所,中国科学院和上海交通大学等相关领域取得了可喜的成绩。

高性能计算在网络信息安全中得到深入应用

网络信息安全已成为国家安全的基石。近年来,高性能计算技术也被广泛用于解决信息安全问题。典型应用场景,例如模拟攻击和网络范围防御,大数据隐私保护和入侵检测。

网络射击场。这是一个实验环境,为网络技术,信息安全攻击和防御技术以及信息安全概念提供定量和定性评估。它的特点是可靠性,可控性和可操作性。目前,该网络范围已在美国,英国,澳大利亚和日本等国家实施。在网络射击范围内,通常需要在不同的安全级别环境中支持计算机网络防御,检测和攻击测试。射击范围需要具有虚拟节点的可扩展性以生成数千个测试节点。例如,Internet环境生成技术LARIAT可用于在Internet上模拟HTTP,HTTPS,TCP/IP,SSH和SMTP等协议;为了生成网络范围内数千个节点生成的大规模网络流量,LARIAT是分布式配置的。在每个节点上。

隐私保护。隐私保护是大数据时代的一项重大挑战。大数据技术往往是双面的。一方面,研究人员可以通过大数据发现数据之间的内在联系,提供多种视角,并为数据持有者提供决策数据。另一方面,攻击者分析大数据的内在联系。它常常使得数据隐私难以得到有效保障。如果疾病从患者的标记中移除,攻击者可以通过社会保障,旅行记录和消费记录等数据全面推断患者的信息。因此,大数据中的数据隐私保护至关重要。

入侵检测。入侵检测和防御系统具有一定的实时性,因此背景需要高性能的数据处理。 Erfani等人。提出了一种深度置信网络模型和单边支持向量机异常检测模型。从实验结果来看,使用高性能算法后,训练时间减少了1/3,测试时间减少到1/1000。

数据驱动的传统高性能计算应用新方法的成功方法

石油勘探领域的新方法。新兴的大规模地震数据采集对地震数据处理,解释,建模等提出了极大的挑战。大规模数据处理理论和技术研究已成为一个热门的研究课题。人工智能在石油勘探中的应用研究主要分为三类:解释,预处理和反演。 1地震数据解释是AI方法较早开发的领域,AI为了解决大规模数据解释而取代人机交互。传统的地震解释是一项人类工作,需要大量的工作人员和专家参与。 2数据预处理是为了提高地震信号的质量,如数据重建,噪声抑制,滤波等。传统的预处理采用积分变换方法,存在许多常见的缺陷。新兴的AI方法可以实现更好的预处理结果。 3全波反演是最近的研究热点。其迭代收敛导致计算复杂度的大幅增加,并且信号噪声的存在导致局部最小收敛的问题。在基于AI方法的反演成像方面已经取得了一些进展。然而,AI技术的应用对数据存储和计算资源提出了更高的要求。

气象预报领域的新方法。数值预测是高性能计算的传统应用领域。几乎在任何时候,数值天气预报系统都使用当时最快的高性能计算机。 AI在天气预报领域有着悠久的应用历史。目前,人工智能技术在天气气候领域的应用研究主要包括:观测数据质量控制,卫星数据反演和数值模型数据同化,数值模型参数化和后处理,天气系统识别,极端和恶劣天气预报。短期临近预报,台风海洋天气预报,气候分析和预测,环境污染相关预报以及可再生能源相关预报。 2013年,Earth Risk发布了TempRisk Apollo 40天温度概率预测模型,该模型使用深度学习方法填补传统数值天气预报与15至30天延长期之间的差距。 2016年,小发猫收购了气象公司,以准确预测0.2-1.2英里的小规模超本地天气,准确地为运输公司,公用事业甚至零售商提供服务。 2017年,国家气象局和天津大学联合开发了国家强对流服务产品处理系统,利用图像识别和深度学习等新技术,确定了对流天气强烈发生并在未来30分钟内受影响的区域,并发布空间分辨率。 1公里,更新的预测产品每6分钟推出一次。然而,仅基于图像识别和深度学习的预测方法不能覆盖天气过程的物理基础,仍然不能取代传统的数值模型预测。未来,随着计算能力的提高和人工智能方法的进步,气象预报的应用能否取得新的突破,值得气象学家和计算机学者进一步探索。

高性能工业计算推动制造业向智能制造发展

件。计算机模拟水平是衡量工业企业竞争力的主要指标之一。计算机模拟是未来工程和科学发展的关键。

国际知名的制造公司已经实现了产品的虚拟化设计和制造,并实现了全球资源共享。自20世纪80年代以来,波音公司一直在飞机设计中使用计算机模拟来取代大量的传统物理实验和原型验证过程,如风洞实验。现在物理实验已经成为一种验证和辅助手段(图1)。大大缩短了飞机的设计周期,大大降低了研发成本。从飞机布局,关键气动元件设计,发动机设计到飞机性能分析的研究,它被广泛应用于计算流体动力学(CFD)技术。在飞机整机计算中,采用工程湍流模式的整机网格规模已超过1000万。

RVyNyst7qAtxAh

图1新兴的高性能计算行业应用和发展战略

在汽车工业中,以计算机模拟为核心的数字化发展是一项重要的技术突破。在福特装配线生产和丰田精益生产之后,它也被认为是汽车行业的一项重大技术进步。以汽车安全研究为例,对汽车耐撞性的早期研究主要通过实验手段进行。障碍物对车辆的冲击试验是评估汽车冲击强度的唯一方法。为了评估某种类型的车辆部件变化的影响并证明最终产品符合各种汽车安全标准,有必要在数百次测试中投入数百万美元,这是一个非常昂贵的试错过程。从零部件到车辆装配水平的研发和设计阶段,有很多计算,包括刚度,强度,噪音,振动和粗糙度(NVH),机构运动,碰撞模拟,板冲压,疲劳和空气动力学。在分析等方面,计算机仿真具有不可替代的优势和作用,极大地提高了设计质量,缩短了产品开发周期,节省了大量的开发成本。

在过去十年“荣威”系列车型的开发过程中,上海汽车公司借助超级计算平台完成了大量的虚拟安全碰撞试验计算,实现了虚拟碰撞试验次数,分析精度,细度和设计周期彼此接近。世界领先的汽车研发水平。

新的应用程序开发趋势

新行业应用程序中计算行为的基本特征是数据密集型。大数据已经成为更广泛扩展高性能计算应用程序的广度和深度,高性能计算系统的开发,高性能算法和软件开发的新趋势。

高性能计算应用的广度和深度进一步扩展

大数据应用正在兴起。在物联网技术,5G技术和各种数据采集技术快速发展的背景下,以大数据为基本特征的各种应用层出不穷,从智能城市,生命健康到粒子物理,天体物理,大数据应用广度和深度。继续扩大。

件已经发展到一个新的阶段,人工智能在传统问题,生命健康,基础物理甚至气象气候预测,石油等许多领域发挥了积极作用。勘探。 2018年戈登贝尔奖之一是利用深度学习方法分析气候变化模式。

已经出现了对多领域问题的协作分析。大数据的积累和计算能力的大幅增加也为复杂系统或多领域问题的协同分析创造了可能性,例如环境和生态模拟,物理化学和生命的多尺度分析以及精确医学。

高性能计算系统开发面临新的发展机遇

专用加速硬件正在增加。从传统的图形处理单元(GPU)到张量处理器(TPU),深度计算器(DCU)等专用硬件,高性能计算加速芯片不断涌现。其中,TPU是谷歌近年来提出的一种张量处理单元,致力于深度学习加速,提供低精度和高吞吐量的计算。与GPU相比,TPU具有更高的I/O(输入/输出)效率和更低的功耗。

大数据处理对超级计算机网络提出了新的要求。典型的大数据处理问题,数据I/O等从存储到计算的频率和带宽要求显着增加,而计算过程之间的通信消息更为小,占消息总数的95%左右。因此,大数据处理会对存储网络和计算网络的性能要求产生重大影响。

大数据处理平台的非功能性要求。新业务为应用程序提出了许多非功能性要求,例如要求应用程序快速开发,可扩展,可重用,具有统一的界面,完整的下游操作生态系统以及自动容错。

高性能算法和软件设计面临新的挑战

大数据矩阵的稀疏特征。大多数大数据处理问题最终转化为矩阵计算。这些矩阵通常具有稀疏性(零元数据的数量远远大于非零元数据的数量),但通常没有偏微分方程来解决该问题。稀疏矩阵不为零。元对角线分布特征。此外,传统的稀疏矩阵解决方案通常需要精确的解决方案,但随着新应用的出现,稀疏矩阵的精度要求通常会让位于求解速度的要求。例如,在产品推荐,搜索引擎和社交网络等大规模推理任务中,用户通常只需要在Top k(Rank k)的结果中得到所需的结果,也就是说,解决方案被认为是符合预期。在求解性能方面,可能需要用于计算复杂度O(k)(k <

大时空特征。在新兴智能城市等应用中,时空特征越来越受到关注。例如,在交通流量预测中,GPS之前和之后存在强大的时间关系;在自然语言处理(NLP)中,上下文之前和之后的上下文也显示出明显的时空特征。

大数据高维功能。随着业务问题规模的增加,数据的维度通常会呈指数级增长。为了减小数据集的维数,研究人员通常使用特征提取,去相关,去激励和去常数属性等技术。大量数据增加了减少数据维度的难度。

异构大数据融合功能。大数据通常是异构的,并且数据的属性不一致。面对大容量,多样化和连续数据生成。如何有效地集成多个异构数据集并挖掘有用信息是高性能计算需要解决的问题。

大规模图形处理功能。基于图来查找事物之间的相关性是大数据领域中的典型问题。大规模图处理经常面临诸如数据的局部性差,数据分割困难和大量通信开销等挑战。然而,实际应用通常对算法的实时性能有很高的要求。随着数据量的增加,如何进一步缩短数据处理时间是高性能计算的新挑战。

新的应用程序开发策略建议

针对上述新趋势,高性能计算开发面临新的需求和新的机遇。我们建议大力推广各个层面的创新,例如高性能计算系统,高性能计算环境和高性能计算应用,以促进技术创新和国民经济中的高性能计算。社会发展的各个方面都发挥着更大的作用。

增加高性能计算系统的核心技术创新

增加对专用加速硬件创新的支持。新兴应用程序提出了更高的I/O要求和更低的硬件加速计算能耗要求。传统的多核加速处理器很难适应新兴的应用需求,有必要增加专用多核加速处理器的创新和发展。为新兴应用提供更强大的高性能计算环境。

增加超级计算机网络的创新。为了解决大数据存储和计算I/O时间和带宽需求的问题,有必要增加存储和计算网络的I/O性能的创新和发展,并适应通信时间和现有大数据处理的粒度。

为新应用程序构建高性能计算环境

增加数据系统平台的创新。为适应新兴应用的非功能性需求,有必要开发大数据系统平台在适用性,可扩展性和容错性方面的创新,建立更加完备的超级计算生态环境。

加大人工智能开放平台的创新力度。针对人工智能应用的全过程,包括数据预处理,培训,参数调整,过程监控,测试等步骤,开展统一规划管理,研究开发领域数据集和智能开发集成环境,有效降低非专业用户,研究用户难以使用,全面服务智能应用创新。

推动高性能应用软件开发

大力推动新应用软件的开发。大数据和人工智能方兴未艾。智能技术被视为第四次技术革命的标志性技术。要大力推进智能制造,精准医药,生命健康,智能助手,智能能源,智能驾驶,虚拟射击等各种应用。研发,推动新应用扩展和深化。

大力推动高性能应用软件和工具软件的开发。目前,高性能计算应用软件和工具软件在美国占主导地位。在这个领域,中国的自我控制能力非常弱,差距巨大,甚至远远落后于硬件的发展,风险极高,而且计算的规模和复杂性。不够。需要继续推进高性能计算软件和工具软件的开发。

推动传统应用新方法的开发

传统的跨学科领域,如计算化学,计算物理学和计算生物学,仍在迅速发展。药物智能筛选和分子动力学模拟正面临着新的发展机遇,如气候模拟,天气预报,能源开发,大脑模拟和社会模拟。面对新的突破,大力推动新数据驱动方法的发展具有重要意义。

大力推动大数据人工智能等新领域基准测试工具的开发

新的应用程序数据呈现混合精度,数据密集型和I/O密集叠加,以及通信行为的随机性。 Linpack代表的传统基准测试无法反映新应用程序的计算要求。迫切需要开发和表示新的应用程序计算行为。用于功能的新域基准测试工具。 (作者:深圳国家超级计算机中心冯街;上海超级计算中心李国国;深圳国家超级计算机中心板栗学雷;深圳国家超级计算机中心齐福民;深圳国家超级计算中心黄码;万义,国家超级计算机深圳中心;吴金城,国家超市深圳中心。《中国科学院院刊》Feed)

热门浏览
热门排行榜
热门标签
日期归档