针对深度学习的“失忆症”,科学家提出基于相似性加权交错学习,登上PNAS

访客1年前AI生活143

近日,美国科学院院报(PNAS)刊登了一篇论文,“Learning in deep neural networks and brains with similarity-weighted interleaved learning”,由加拿大皇家学会会士、知名神经科学家 Bruce McNaughton 的团队发表。他们的工作发现,通过将旧信息与新信息进行相似性加权交错训练,深度网络可以快速学习新事物,不仅降低了遗忘率,而且使用的数据量大幅减少。

 

论文作者还作出一个假设:通过跟踪最近活跃的神经元和神经动力学吸引子(attractor dynamics)的持续兴奋性轨迹,可以在大脑中实现相似性加权交错。这些发现可能会促进神经科学和机器学习的进一步发展。

相关文章

为什么知乎“大模型内容生态”走在前列?|GAIR 2023 GPT Pioneer 5

为什么知乎“大模型内容生态”走在前列?|GAIR 2023 GPT Pioneer 5

一个经久不衰的内容社区,就是一座久经不衰的虚拟城市。 一座城市不仅需要有街道还要有公园、广场、公共建筑以及街道网等。 在内容社区,街道网络则意...

美国最新消息:已进入紧急状态,科研经费削减的同时还要研发疫苗!

美国最新消息:已进入紧急状态,科研经费削减的同时还要研发疫苗!

科研经费大幅削减,还被一向对疫苗持质疑态度的总统催着研制疫苗,美国科研人员太难了。 当地时间 2020 年 3 月 13 日,顶级期刊...

对话李少鹏:“风险驱动”是安全产业壮大的催化剂

对话李少鹏:“风险驱动”是安全产业壮大的催化剂

“2004年,我就开始做产业调研,历经了安全产业从只有杀毒的几个亿收入到现在近千亿的纵深防御的安全收入。”李少鹏作为行业老兵见证了网络安全行业...

18位华人当选2022年加拿大工程院院士!

18位华人当选2022年加拿大工程院院士!

当地时间6月13日,加拿大工程院官方网站公布了2022年新晋院士名单:今年一共有54名新晋院士,其中入选华人18位、另有人工智能领域的其他3...

2021西湖论剑网络安全大会:筑牢数字化改革之根基!

2021西湖论剑网络安全大会:筑牢数字化改革之根基!

数字化、网络化、智能化已成为当前的时代特征,融入到生产、生活的方方面面,但随之而来的安全风险也越来越受到各界的重视。 今天,以“安全:...

菲律宾政府通过国家计划优先考虑偏远地区的数字连接

菲律宾政府通过国家计划优先考虑偏远地区的数字连接

该方法包括在实现连接后将WiFi成本纳入政府预算,促进可持续和可扩展的数字增长。 菲律宾总统已指示信息和通信技术部(DICT)...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。