当前位置： 首页 > 资讯中心 > 正文

最大CLIP！LAION发布CLIP的扩增定律 全球快看点

时间：2022-12-26 19:46:05 来源:


【资料图】

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。更多内容可见论文：https://arxiv.org/abs/2212.07143

标签：

精彩推送

手机圈新宠！真我GT5上手手感绝了

据真我副总裁徐起透露，真我GT5的旗舰质感前所未有，其打造的代价与概

来源：2023.08.25

北京食盐供应情况如何？都视频记者凌晨探访食盐配送中心

00:35北京日报客户端|记者马婧受日本核污染水排海影响，部分区域发生食

来源：2023.08.25

图解丨日本福岛核污染水排海后，如何影响中国和全球？

当地时间8月24日13时，日本政府正式启动福岛核污染水排海。曾经在中国

来源：2023.08.24

卫光生物：上半年营收净利双高增长，浆站平均采浆量行业领先

证券时报网讯，8月24日晚间，卫光生物（002880 SZ）披露半年度报告，20

来源：2023.08.24

途虎养车通过港交所上市聆讯

三言科技8月24日消息，据港交所文件显示，途虎养车通过港交所上市聆讯

来源：2023.08.24

2023中国国际装备制造业博览会时间及地点

2023中国国际装备制造业博览会时间及地点展会时间：2023年9月1日-9月5

来源：2023.08.24

极氪IPO计划募集10亿美元 估值预计超过130亿美元

易车讯据国内媒体报道，有知情人士透露吉利汽车旗下高端智能品牌极氪科

来源：2023.08.24

美商务部长访华，中美双方将讨论哪些话题？商务部回应

8月24日下午，商务部举行例行记者会。有媒体提问，中方计划同即将到访

来源：2023.08.24

中信证券：机器人行业发展趋势愈发明确

中信证券近日研报表示，近期机器人产业相关动作频出，政策方面各地陆续

来源：2023.08.24

新闻快讯

X 关闭

精品推荐

X 关闭

新闻快讯