MLPerf推理v3.0的结果显示了整个行业在提高性能方面的主要趋势

机器学习和人工智能是一个日新月异的行业，每天都在不断创新。这就是为什么能够比较设备的能力是重要的，也是为什么有一个或多个机构帮助引导该行业的增长也很重要。在MLPerf推理v3.0中，MLCommons小组的目标是加倍努力，在提供可验证和可重现的结果的同时，对设备的机器学习能力提供公平和严格的测试。结果现在已经出来了，而且来自前几年更多的供应商名单。

机器学习中的“推理”指的是来自训练算法的结果的实际产生，模型随后可以识别它被训练识别的内容。我们看到推理被用于各行各业，包括自动驾驶汽车、谷歌上的搜索建议，甚至是像这样的AI聊天机器人ChatGPT、Bing Chat或Google Bard。MLPerf v3.0可以测试以下任务：

MLPerf v3.0的结果数据库中有超过5,300个性能结果和超过2,400个功率测量结果。特别是，确定的趋势包括许多新的硬件系统正在使用，在某些基准测试中，数据中心组件的性能提高了约30%。此外，更多的提交者给出了与电源效率相关的结果，对网络推理的兴趣增加了三倍。

NVIDIA多年来一直是MLPerf提交的中流砥柱，它提交了DGX H100的第一个结果，也是它的L4张量核心图形处理器的第一个提交结果。与最初提交的H100相比，DGX H100每个加速器的性能提高了54%，L4的性能是上一代T4的三倍。

其他提交结果的公司包括高通公司，该公司表示，“所有基准测试显示，NLP和计算机视觉网络的性能和能效都有所提高。”该公司还详细介绍了自首次提交MLPerf 1.0以来，高通Cloud AI 100的性能和能效分别提高了86%和52%。其他提交结果的著名供应商包括英特尔、HPE、技嘉、华硕和戴尔。