您的位置:首页 >行情 >

最大CLIP!LAION发布CLIP的扩增定律 焦点速讯

2022-12-29 16:25:00    来源:


(相关资料图)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143

关键词: 机器学习 是不同的

相关阅读

精彩放送

央行开展2020亿元逆回购 机构:跨年资金面有望维持平稳

新华健康|阜外医院杨跃进:中西结合保护人体发动机_天天播资讯

全球短讯!顶配2799元 Redmi K60E正式发布

合肥徽商银行可以预约2023贺岁普通纪念币吗?_环球动态

即时:工信部:APP应可便捷卸载 不得以空白名称等方式恶意阻挠用户卸载

热资讯!各地推出优惠政策 激发消费市场活力

海陆重工: 国浩律师(上海)事务所关于苏州海陆重工股份有限公司2022年第三次临时股东大...

全球观热点:中国海油:渤海亿吨级油田垦利6-1主体区开发项目投产

合肥徽商银行可以预约2023贺岁普通纪念币吗?_环球动态

即时:工信部:APP应可便捷卸载 不得以空白名称等方式恶意阻挠用户卸载

热资讯!各地推出优惠政策 激发消费市场活力

海陆重工: 国浩律师(上海)事务所关于苏州海陆重工股份有限公司2022年第三次临时股东大...

全球观热点:中国海油:渤海亿吨级油田垦利6-1主体区开发项目投产

天天热点评!新疆风城油田采油二站采油四班:打造特色文化 厚植成才土壤

[快讯]明阳智能:股东提前终止减持计划暨减持股份结果

【天天热闻】一周时间不到,多位明星家人和老戏骨去世,全部因疫情诱发

助力传统粮油企业数字化转型,好粮有网全网交易量突破100亿元

当前速看:隔水蒸鸡做法一鸡两吃 隔水蒸鸡的制作技巧