事关人类存亡的 14 大工程难题，要靠 AI 来搞定了

但是现在，Google AI 已经不满足于已经取得的成就。Jeff Dean 说，他们正在思考一种全新的神经网络形式：一个巨大的、稀疏激活的模型 ( a large model, but sparsely activated ) 。

这种新的神经网络，具备的参数之多，和现有神经网络相比可能是几何级的。但是，当它处理不同任务时，只需要激活少数路径上的节点，并不需要全部激活。这样设计的目的，是让一个神经网络能够执行多种不同的任务——少则数百，多则上百万种，以此显著降低神经网络设计、搭建和训练的计算量和耗时，实现更强的通用性。

Jeff Dean 向硅星人表示，他所描绘的这个新神经网络，确实和人们曾经热议但认为短期内不会实现的 " 通用人工智能 " ( general AI ) 些许相似。但是他强调，Google AI 的主张是即便在这个新的巨大且稀疏激活的网络内，训练仍然是自我监督的。

2017 年，他和几位同事（包括 Geoff Hinton、Quoc Le 等 Google AI 顶级学者）以及外部研究伙伴共同提交了这一方向的首篇论文，名为《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》，呈现了一个超过 1370 亿参数，拥有数千个子网络的巨大神经网络架构，在语言建模、机器翻译等场景下，用更少的计算量实现了对当前最高水平神经网络的超越。

Jeff Dean 展示了 Google AI 对于这一技术的未来构想：除了优化网络结构之外，Google 可能还将开发新的、面向该网络结构优化的机器学习超级计算机（就像他们为 TensorFlow 设计了 TPU 那样。）届时，新的计算范式将为 Google AI 解决 21 世纪伟大工程挑战带来更多帮助。

" 深度学习正在帮助我们挑战很多重大的难题，它会在科学突破和人类发展的许多领域做出巨大贡献。"Jeff Dean 表示。

【来源：品玩】

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!