终身学习机器(Lifelong Learning Machines (L2M))项目在2018财年首次获得资助,2018财年该项目属于国防研究科学领域的数学和计算机科学专栏,2019财年该项目被划至超越扩展技术专栏进行资助,并于2022财年完结,资助期累计资助额0.6993亿美元,年平均资助额0.1399亿美元。此外,系列分析文章第九期重点分析项目人工智能对欺骗的鲁棒性是终身学习机器项目的衍生项目。终身学习机器项目描述如下(所属专栏更换后项目描述无变化):
2022财年项目描述:终身学习机器(L2M)项目正在研究和开发全新的机器学习机制,使机器在运行过程中不断学习。目前的学习机器是在部署前完成配置的,这意味着它们很难解释现场任务的变化或正在处理数据的意外偏差。为了克服这一限制,L2M将采用受生物系统启发的学习方法,在不丢失先前知识的情况下不断学习和提高技能。L2M将探索网络结构,通过处理在现场看到的新数据来提高性能,学习新任务而不忘记以前的任务,并将上下文纳入他们对环境的理解。这些能力将影响广泛的军事应用,这些应用需要实时处理和理解数据,通常用于训练的数据集有限,并且必须部署在可能发生不可预测事件的环境中。
从项目描述来看,终身学习机器(L2M)计划意图打造的是具有实时学习能力的人工智能,从目前的大模型发展来看,大模型可以实现与人类的实时交互,并根据对话上下文给出相应见解,具备一定的实时交互能力,同时目前大模型在发展的过程中,由于其问答功能使然,大模型对传统搜索引擎会产生替代影响,如OpenAI和360均有推出基于大模型的搜索引擎产品,其他大模型如智谱清言在其产品上设计联网阅读功能,该功能本质上也是搜索引擎功能的一种延伸,而搜索引擎自身便带有实时性特征。但从知识截止日期(最后一次训练所使用的数据集日期)来看,现阶段大模型尚未能实现实时能力的打造,目前OpenAI最新的产品GPT-4o其知识截止日期为2023年10月,而国内许多大模型的知识截止日期停留在2022年。
表1 终身学习机器项目资助计划一览表
年份 |
资助计划 |
2018财年 |
1.确定和定义终身学习组成部分的方法; 2.对集成L2M软件组件的应用程序进行初步描述; 3.执行终身学习软件组件的第一次评估,展示使用测试数据集实现目标的初始能力; 4.对如何在软件中证明和测量新的生物机制进行描述,包括测试数据的初步规范。 |
2019财年 |
1.利用当前经验作为训练数据,确定人工智能(AI)系统在运行过程中提高性能的能力,从而展示持续学习的能力; 2.设计能够使用先前信息并将其推广到前所未有的情况的算法; 3.发明一种方法,使机器学习系统能够在处理新环境的适应性之间取得平衡,同时保留一些在后期阶段可能很重要的先前知识; 4.生成政府感兴趣的通用测试数据,并分发给执行者,以验证终身学习的核心能力。 |
2020财年 |
1.将生物实验的第一批见解转化为机器学习算法,并证明所开发的算法可提高终身学习能力; 2.开始在 L2M 指定的测试用例上移植和测试第一套算法; 3.利用测试案例演示首个具备全部五种 L2M 核心能力的终身学习系统,并证明将多种 L2M 能力整合到一个系统中,比单一重点系统有显著改进; 4.按每个用例完整演示工作系统。 |
2021财年 |
1.研究 L2M 系统的安全和安保问题; 2.完善常见测试用例中的第一套算法,并在测试用例中添加新算法; 3.将多种 L2M 功能集成到一个系统中。 |
2022财年 |
1.在多个领域展示集成的 L2M 系统; 2.将 L2M 算法过渡到选定的应用中。 |
从资助计划来看,2019财年终身学习机器项目更换专栏资助后,2018财年资助计划与后续财年的资助计划衔接性较弱,更多的像是为后续财年资助计划做一些理论上的铺垫。2019-2022财年,终身学习机器项目资助计划呈现出完整的从算法开发到测试验证到集成应用的研究闭环。
写在最后:人工智能实时能力的打造除了技术层面的要求外,对于能源、资源的要求也进一步提升,当前国内大模型与国外大模型在知识截止日期的差异,本质上是大模型训练的差异,而模型训练与算力息息相关。