多伦多大学的教职员工，谷歌大脑研究人员以及最近的图灵奖获得者杰弗里·欣顿（Geoffrey Hinton）今天下午在山景城谷歌的I / O开发者大会的炉边聊天中发表了讲话。他讨论了神经网络的起源-根据生物神经元建模的数学功能层-以及AI的可行性和含义（可能有一天会像人类一样推理）。
“在我看来，大脑没有其他方法可以工作，”神经网络的欣顿说。“ 人类是神经网络，我们能做的任何事情都可以做……比他们拥有任何权利都更好。”
Hinton在过去30年中一直致力于解决AI的一些最大挑战，被某些人称为“ AI的教父”。除了在机器学习方面的开创性工作外，他还撰写或合着了200多篇同行评审论文，其中包括1986年有关机器学习技术的论文，即反向传播。
欣顿普及了深度神经网络或包含上述功能的AI模型的思想，这些功能排列在互连层中，这些层传输“信号”并调整连接的突触强度（权重）。这样，他们从输入数据中提取特征并学习进行预测。
深度神经网络在Transformers中得到了完善，两年前Google研究人员在一篇博客文章和随附的论文（“ 注意就是您所需要的一切”）中对此进行了详细介绍。得益于注意力机制，该机制可以动态计算权重，因此Transformer可以在语言翻译任务中胜过最先进的模型，同时所需的计算量更少。
欣顿承认，创新的步伐甚至令他感到惊讶。他说：“ [在2012年，我没想到]在未来的五年中，我们将能够使用[…]相同的技术在多种语言之间进行翻译。”
也就是说，欣顿认为当前的AI和机器学习方法有其局限性。他指出，大多数计算机视觉模型没有反馈机制-也就是说，它们不尝试从更高级别的表示中重建数据。相反，他们尝试通过更改权重来区分学习特征。
Hinton表示：“他们没有像在每个级别的特征检测器上那样检查它们是否可以重建下面的数据。
他和同事最近转向人类视觉皮层寻求灵感。Hinton表示，人类视觉采用一种重构方法进行学习，事实证明，计算机视觉系统中的重构技术会增强其抵抗对抗攻击的能力。
欣顿说：“大脑科学家都同意这样一个想法，即如果您在感知通路中有两个皮层区域，并且彼此之间存在联系，那么总会有一个反向路径。”
需要明确的是，欣顿认为神经科学家需要向AI研究人员学习很多东西。实际上，他认为未来的AI系统将大都是无人监督的。他说，无监督学习是机器学习的一个分支，它从未标记，未分类和未分类的测试数据中收集知识，这在人类学习共性并对它们的存在或不存在做出反应方面具有人类般的能力。
他说：“如果您使用的系统具有数十亿个参数，并且在某些目标函数中进行了随机梯度下降，那么它的效果将比您期望的要好得多。扩展规模越大，效果越好。” “这使得大脑正在计算某些目标函数的梯度并更新突触的强度以遵循该梯度，这似乎更加合理。我们只需要弄清楚它如何得到梯度以及目标函数是什么。”
这甚至可以解开梦的巨大奥秘。“为什么我们根本不记得自己的梦想？” 欣顿用言语向人群问。
他认为这可能与“ unlearning”有关，他在与他人合着的有关Boltzmann机器的论文中提出的理论中对此进行了解释。这些AI系统-由对称连接且类似神经元的单元组成的网络，可以随机决定是否“打开”或“关闭”，从而“发现……观察到的数据就不足为奇了”。
欣顿说：“做梦的重点可能是使整个学习过程相反。”
欣顿认为，这些学习可以改变整个领域，例如教育。例如，他预计将考虑到人类生物化学的个性化，针对性强得多的课程。
他说：“您曾以为，如果我们真的了解正在发生的事情，我们应该能够使教育水平更好，而我认为我们会做到的。” “如果您最终能够理解[大脑中的]发生的事情以及它是如何学习的，并且不适应环境，那么您就可以学得更好，那将是非常奇怪的。”
他警告说，这将需要时间。在不久的将来，Hinton设想了智能助手的未来，例如Google助手或亚马逊的Alexa，它们可以与用户互动并指导他们的日常生活。
Hinon的预测是在Google和Alphabet的前执行董事长埃里克·施密特（Eric Schmidt）最近发表演讲之后做出的。Schmidt同样认为，未来，个性化的AI助手将利用我们的行为知识来使我们保持知情。
“几年后，我不确定我们会学到很多。但是，如果您看一下，助手现在非常聪明，一旦助手能够真正理解对话，助手便可以与孩子进行对话并对其进行教育。”欣顿总结道。
