现今,Google许多服务,几乎都跟AI有关,但凡是搜索、地图、照片和翻译等等,这些AI应用服务,在训练学习和推论过程中,都使用到了Google的TPU。Google很早就在数据中心内大量部署TPU,用于加速AI模型训练和推论部署使用,甚至不只自用,后来更当作云计算服务或提供第三方使用,还将它变成产品销售。
在今年线上台湾人工智能年会上,Google研究部门软件工程师CliffYoung担任第一天的主题演讲,CliffYoung不只是GoogleBrain团队核心成员,更是GoogleTPU芯片主要设计者,一手设计和打造TPU,部署到Google数据中心内,作为AI硬件加速器,用于各种AI模型训练或推论。在加入Google前,他曾在D.E.ShawResearch和贝尔实验室,负责设计和建造实验室超级计算机。在整场演讲中,他不只亲自披露Google决定自行开发TPU的过程,针对深度学习革命对于未来AI发展影响,也提出他的最新观察。
CliffYoung表示,深度学习神经网络技术自年开始在语音识别大放异彩以来,几乎每年在不同领域应用上,我们都能看到因为深度学习而有了突破性的发展,从AI图片识别、Al下棋、到Al视网膜病变判读、语文翻译、机器人拣货等等,“这是我们以前从未想过的事。”
正因为,深度学习的出现,让人类在不同领域执行任务的方式产生重大变化,他也以美国知名科学哲学家ThomasKuhn提出的科学革命的发展模式来形容,深度学习本身就是一种科学革命的典范转移,不只是常态科学。
ThomasKuhn在《科学革命的结构》一书中提出两种科学发展模式,第一种是常态科学的模式,通过实验和证明来理解新事实的方法,当出现旧科学无法认同的新科学产生时,就会产生新旧科学之间的冲突,衍生发展出另一种模式,也就是第二种的科学革命的模式,在此模式下,新科学模式将彻底颠覆旧科学的做法。“我认为深度学习革命就是这样一种转变,正在取代传统计算机科学。”CliffYoung说道。
更进一步来说,他指出,深度学习是一种数据驱动的决策过程,不同于传统的storedvalue或启发式(heuristic)决策方法,深度学习算法使用可观测的数据,来提供人类创建更好地决策的方式,比如运用在用户推荐,可以根据用户轮廓或网络行为,来推荐适合的产品或给出最佳搜索结果。
但他也坦言,不像数学原理可以被解释,深度学习模型运行原理目前仍难以解释,也因此,科学家无法从这些为何可行的原因中,找到提高效率的更好的做法。但如果想完全理解和解释深度学习运行原理,依照以往工业革命的发展经验,得等到合成神经动力学的出现后,才有机会得到解释,动辄可能耗费数十年之久,所以,他也说:“从事深度学习研究,比起问why,how更重要。”
CliffYoung回顾机器学习革命过程,可以年的AlexNet神经网络架构作为分水岭,由AlexKrizhesky等人提出的AlexNet运用GPU创建的深度学习模型,以85%准确度刷新世界纪录,在当年ImageNet图像分类竞赛中一举夺冠。
这项竞赛后来也引起Google的高度