趋势丨设计的代价：深度学习已经接近计算极限

2020-07-27 16:49

深度学习时代AI模型需规模化扩展

现代AI模型需要消耗大量电力，而且对电力的需求正以惊人的速度增长。在深度学习时代，构建一流AI模型所需要的计算资源平均每3．4个月翻一番。

在当今以深度学习为中心的研究范式当中，AI的主要进步主要依赖于模型的规模化扩展：数据集更大、模型更大、计算资源更大。

在训练过程中，神经网络需要为每一条数据执行一整套冗长的数学运算（正向传播与反向传播），并以复杂的方式更新模型参数。

在现实环境中部署并运行AI模型，所带来的能源消耗量甚至高于训练过程。实际上，神经网络全部算力成本中的80％到90％来自推理阶段，而非训练阶段。

因此，数据集规模越大，与之对应的算力与能源需求也在飞速增长。模型中包含的参数量越大，推理阶段所带来的电力需求就越夸张。

AI芯天下丨趋势丨设计的代价：深度学习已经接近计算极限

虽然深度网络会是解决方案的一部分，但还需要涉及组合原则和因果模型的互补方法，以捕捉数据的基本结构。此外，面对组合性爆炸，需要要再次思考如何训练和评估视觉算法。

每一次人工智能低谷来临之前，都会有科学家夸大和炒作他们创造的潜力，仅仅说他们的算法就能够很好地完成某项任务是不够的。

对大多数问题来说，深度学习并不是正确的解决方法，不要试图为所有的问题寻找通用人工智能解决方案，因为它根本就不存在。

结尾：

深度学习的发展可能已达极限，但其影响还将持续深远。为了避免在“人工智能冬天”中被淘汰的命运，能做的最好的事情就是明确你要解决的问题，并理解其本质；然后，寻找为特定问题提供解决方案的直观路径的方法。

<上一页 1 2 3

声明： 本文由入驻维科号的作者撰写，观点仅代表作者本人，不代表OFweek立场。如有侵权或其他问题，请联系举报。

共0条评论，0人参与

登录登录即可访问所有OFweek服务

请输入评论内容...

请输入评论/评论长度6~500个字

暂无评论

图片新闻