学在加拿大
400-609-1118

加拿大西安大略大学利用对比正则化方法应对噪音问题

发布时间: 2022-08-01 09:14:41
摘要:
    西安大略大学坐落在加拿大风景秀美的著名城市伦敦,伦敦市是加拿大第十大城市,人口有34万多人,距加拿大第一大城市多伦多200公里。始建于1878年的西安大...

        西安大略大学坐落在加拿大风景秀美的著名城市伦敦,伦敦市是加拿大第十大城市,人口有34万多人,距加拿大第一大城市多伦多200公里。始建于1878年的西安大略大学是加拿大最古老的学校之一,她在学术方面已经有上百年历史,并在商科、医学和文科方面取得了辉煌的成就,学校继续保持高速发展并不断扩展在学术方面的研究。

  来自西安大略大学、纽约大学和字节跳动的研究者回答了一个重要的问题,即如何从带有噪声标签的数据集中学到可靠模型。西安大略大学

  噪声标签(Noisylabels)随着深度学习研究的深入得到广泛的关注,因为在众多实际落地的场景模型的训练都离不开真实可靠的标签信息。由于人工标注误差(专业性不足等问题)、数据原始噪声,带噪声的数据不可避免,清洗数据的工作也是更加困难。

  在有监督的图像分类问题中,经典的cross-entropy(CE)损失函数是最为广泛应用的函数之一。当数据集不存在任何的噪声标签的时候,它往往能带来非常不错的效果。然而,当数据集中存在噪声标签的时候,它会导致模型对噪声标签过拟合,使模型的泛化性变差。本文从对比学习的角度研究了如何通过约束图像的特征来防止模型对噪声标签的过拟合。

        现有的解决噪声标签的问题有基于robustregularization,labelcorrection,lossreweighting,和robustlossfunctions等。本文的研究动机源于robustlossfunctions。为了防止模型对噪声标签过拟合,现有的对噪声鲁棒的损失函数(meanabsoluteerror(MAE)[1,2],reversecross-entropyloss(RCE)[3]等)在一定程度上解决了噪声标签过拟合的同时,也存在对数据欠拟合的问题[4,5]。在实际应用中,这些对噪声鲁棒的损失函数是结合CE一起使用的,而CE容易造成对噪声数据的过拟合问题。因此我们思考,能否仅仅通过约束图像的特征,使整个模型仍然可以用CE训练且不受噪声标签的影响。韦仕敦大学

更多留学干货内容,欢迎继续关注学在加拿大官网和美国留学网以及我们的官方微信服务号。

更多留学申请规划问题欢迎扫码联系小助手免费咨询获取干货资料包

加拿大西安大略大学利用对比正则化方法应对噪音问题

       作为“加拿大老四校(old four)”之一的西安大略大学(University of Western Ontario)2012年已更名韦仕敦大学(Western University)。是位于加拿大安大略省伦敦的一所世界著名学府,加拿大顶尖医学博士类公立大学之一,也被称为加拿大“小哈佛”。

  尤其是近些年来,西安大略大学实施了一系列旨在扩展传统优势学科的举措,以期实现专业的多元化,例如开设了健康科学、软件工程以及医学研究等等。西安大略大学在全加大学中医学博士类排名第3位。在校学生超过33,000人,其中有来自120多个国家的留学生约2,200名,全日制教职员工3,200人,提供2,000多个学士学位与文凭课程。

  课程设置

  西安大略大学占地467万平方米,主校区158万平方米,校园主要建筑达到75个,建筑风格古典和现代相融合。西安大略大学下设3个学院,12个科系,2个教学医院及3个附属研究所。大学由医学院、自然科学院、商学院、法学院、教育学院、文学院、理学院、工程学院、健康科学院、信息与传媒研究学院、社会科学学院音乐学院、研究生院、休伦学院、国王学院和布雷舍尔学院(女校)等组成。不同院系之间有部分专业合作,但都采用统一的教学大纲和标准,授予统一的西安大略大学文凭。

 

更多留学干货内容,欢迎关注学在加拿大官方微信号或者小助手

微信小助手

微信企业号

更多留学申请规划问题欢迎扫码联系小助手免费咨询获取干货资料包

>>手机用户,可以直接点我进行微信在线咨询
在线报名

学在加拿大官方咨询热线

400-609-1118