元宇宙和大模型都离不开NVIDIA

2023-08-08 09:24

导读：

2019年，NVIDIA Omniverse上线；2021年，Omniverse Enterprise正式发布；2022年，Omniverse Cloud云平台发布，使得Omniverse具备了更多云属性；同年，NVIDIA OVX系统发布，带来了经过专门优化的硬件计算平台。

与此同时，NVIDIA在元宇宙的布局逐渐清晰，NVIDIA希望利用自身在图形计算以及AI、GPU等技术得天独厚的优势，为各个行业的企业提供全栈式解决方案，从而对生产质量和效率带来实质性的改善。

其实早在元宇宙概念走进大众视野之前，NVIDIA就已经着手于相关技术的开发及储备。在深刻洞察各个行业对于虚拟世界和数字孪生的需求后，NVIDIA对此进行了针对性研发。在其不断迭代自身解决方案的同时，众多大型企业纷纷通过Omniverse构建了自己的数字孪生或工业元宇宙。

随着全球对于元宇宙的热情不断高涨，也催化了这些技术成果快速从幕后走向台前。

MetaPost的读者对于Omniverse可能并不陌生，此前已多次介绍过。今天，我们再来详细聊聊元宇宙和数字孪生如何通过Omniverse落地，以及更多场景下的应用案例。

你以为NVIDIA只是靠着GPU飚进万亿市值？可不止。

为什么Omniverse

是构建元宇宙的工具？

NVIDIA Omniverse是为了构建具有物理规则的虚拟世界而诞生的。通过Omniverse在虚拟世界中做AI训练，再反馈、帮助到现实世界；也可以模拟现实世界中的物理特性，为实际生产提升效率。

现在的互联网内容其实还是以图片、2D视频、文字为主。NVIDIA认为，在未来几年，互联网传输内容中将出现大量的3D内容，3D内容将为现有行业带来新的变革——而元宇宙就是互联网的3D内容演变。

在搞清楚Omniverse和元宇宙的关系前，我们先来搞清楚几个问题：

1、构建元宇宙，需要哪些元素？

1)开放的标准。既然是3D世界，自然会存在内容的交互问题，互联网时代是HTML，3D内容时代则需要新的数据交互传输格式。开放标准的文件会使用USD（通用场景描述），它本身就是一个开放的格式，越来越多的第三方软件已开始支持USD。

2)可扩展、可加速、时间精准的系统。只有可扩展的系统才能承载庞大的虚拟世界。元宇宙可不像游戏，使用一个沙盒就可以运行开放世界游戏，对于现实世界的模拟要宏大得多。

3) 遵循物理世界的实时仿真。仿真有很多，但目前能做到实时仿真的软件并不多。

4)AI。AI可以帮助我们生成大量相应的3D数字内容，在虚拟世界中进行相关的AI模型训练，再部署到现实世界。

而Omniverse具备了以上所有元素——由USD、可扩展性、认证的硬件平台，以及不断扩大的第三方生态系统组成。这也使得其成为构建元宇宙的绝佳工具。

2、数字孪生也需要一些最基础的元素，它的要求又是什么？

1）首先是虚拟数据集的单一实时来源。用过第三方软件，你就会发现，各种软件都有各自的格式，当汇总到同一个场景下，难免会出现数据丢失。比如当CAD的工程软件转换成MESH文件，有些文件会莫名其妙地消失，就是因为没有单一的实时来源。

2） 现实世界是遵循物理学的，虚拟世界自然也需要遵循。Omniverse平台利用Feedback技术可以实现这一点，并支持AI的训练和优化。精确计时、与现实世界完美同步。单一的物理世界实现跟世界时钟同步并不是最大的挑战，当OVX集群出现，多个OVX物理服务器横跨了如64代物理服务器，如何保证在渲染同一场景或不同场景下，时间还是完美同步的，才是最大的挑战。

基于NVIDIA最核心的几项技术：发展了20多年的RTX渲染技术，CUDA——最强的护城河，PhysX——在SDK开发了很多年，以及AI，NVIDIA将这些最基础的技术配合USD，铸造了Omniverse平台，并在上面开发了不同场景下的应用。

巨头纷纷布局元宇宙和数字孪生

Omniverse在工业元宇宙和数字孪生的应用，涵盖了汽车制造业、能源、交通运输、零售，以及科学技术研究、山火研究、气候研究等等。

01宝马数字工厂

宝马集团在全球拥有31家工厂，40个不同车型的2100多种可能的车型配置，年产量达到250万辆，99%都是定制化生产，是全球最大的汽车定制制造公司之一。

在这样的规模下生产定制车辆，需要在整个制造过程拥有极高的灵活性和敏捷性。现在宝马集团已经实施了一套完整的端到端数字孪生工厂管理系统，将现实和虚拟现实、机器人技术，以及人工智能相结合。这套实时的数字孪生系统涉及NVIDIA的软硬件，利用Omniverse综合的数字孪生平台，在其全球生产网络中设计、训练、构建和仿真，以及最后部署运行工业的元宇宙应用，利用虚拟世界来优化整个工厂布局、机器人的开发和物流系统。

将不同工具、不同来源的数据汇集到大型的高性能模型，便可实现跨地区、多用户的实时协作。

例如，宝马集团需要定期重新配置生产线来适应新车型，以往物理生产线设计和配置需要根据新的配置停机停产，效率低下，各地规划团队也通常需要在同一地点进行设计及测试。随着电动车和混合动力车型的整合，使得这个过程变得更加复杂，因为增加了各种新的零部件和流程。但在数字孪生工厂中，不同地点的规划专家可以使用Omniverse平台进行实时测试和调整生产线设计，打破了时间、空间和人员规划上的限制。基于数字孪生实时内容驱动的布局和流程的评估，加快了整体实验和决策的过程，运行成本也大大降低。

02零售：劳氏集团

劳氏集团是美国第二大家居装修零售集团，也开始利用数字孪生和人工智能进行零售门店的规划。不对店铺进行任何改变，便可测试和验证数千种产品的布局，通过Omniverse用以往无法实现的方式将店铺数据整合到一起。同时使店员和规划者能够实时协作，了解销售业绩，并识别异常情况。

数字孪生技术还可以捕获客户的购物数据，以便改善店铺的布局，提供更好的购物体验。

比如用Omniverse进行三维可视化模拟，将之前独立的数据整合起来，并挖掘它们之间的联系。同时，还可以模拟店铺的流量，作为AI模型的训练数据。通过现实的3D扫描设备，将实际的装修物料应用到虚拟的厨房或浴室中进行沉浸式体验。利用增强现实设备，可以看到销售业绩和客户流量，以及顾客的动线。

03交通运输：德国铁路局

通过单一的真实数据源，数字孪生可以用于检测和实验整个铁路线网的网络，实现车辆和铁路的持续改进，最大程度地提高运行效率和速度，降低运营成本。

目前德国铁路局数字孪生的铁路线网已经覆盖5700座车站和33000公里的铁路线网。除了仿真之外，数字孪生系统还为训练完全自动化的铁路系统AI模型提供了很好的环境。

数字孪生基站可以与现实世界的火车和铁路连网进行同步。如果火车上的相机或激光雷达传感器检测到了潜在危险，其精确位置可以迅速传递给网络中的其它火车，防止发生碰撞或拥堵。如果站点AI计算机视觉相机注意到任何异常，也可以触发事件来通知工作人员。同时，智能传感器在现实世界和由Omniverse Replicator生成的合成数据组合上进行训练和优化，确保AI模型在任何情景下都能够感知、规划和运行。

04仓储物流：亚马逊机器人

作为全球最大的电商平台之一，亚马逊拥有超过200个配送中心，每天要处理数千万个包裹，需要超过50万台移动机器人来支持整个仓库的物流系统运转。

亚马逊机器人也在利用NVIDIA Omniverse构筑仓储中心的数字中心，优化仓库的设计和流程，训练更加智能的机器人助手，以提高整体生产力。

在将各种不同的机器人深入到各种仓储中心之前，就可以通过数字孪生对各种软硬件的配置进行验证，避免真实系统的宕机失效，最大化整体运行效率。此外，数字孪生系统还可以生成不同形状、大小、重量的包裹来训练和检验自动分拣的效果。

亚马逊机器人管理了全球最大规模的移动机器人编队，以往无法将3D数据汇集到统一的管道和训练模型中，且没有足够精确的采集数据来支撑AI模型的训练和感知。通过数字孪生可以将多个不同CAD应用程序的数据集中到高保真度的仓储中心数字孪生系统中心，通过数字仿真了解整体仓库的性能优化、整体设计，通过合成数据的生成来提升感知模型的训练精度，从而缩短运行时间。

05 能源：西门子集团

西门子能源在全球600多个回热锅炉的厂房检修管道腐蚀，如果能够将管道腐蚀厚度减小的宕机维修时间缩短10%，每年就可以节省约17亿美金。

预测整体的管道腐蚀情况，通常需要8周的计算时间，这是传统HPC高性能计算的运算时间。而通过数字孪生技术，包括Omniverse的数字仿真，以及Modulus数字物理模拟仿真，可以将整个管道腐蚀预测时间缩短到小时级别。

2022年NVIDIA宣布进一步扩展和西门子的合作伙伴关系，将西门子Xcelerator和NVIDIA的Omniverse平台连接起来，共同打造工业元宇宙。