当前位置： 首页 > 资讯中心 > 正文

最大CLIP！LAION发布CLIP的扩增定律 最新消息

时间：2022-12-29 10:29:03 来源:


(资料图)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。更多内容可见论文：https://arxiv.org/abs/2212.07143

标签：

精彩推送

邓禄普防水官网 邓禄普建材Dunlop生活品质缔造者

hello大家好，我是城乡经济网小晟来为大家解答以上问题，邓禄普防水官

来源：2023.06.29

冷王的倾城傻妃在线阅读 冷王的倾城傻妃 今热点

今天来聊聊王的倾城傻妃在线阅读，冷王的倾城傻妃的文章，现在就为大家

来源：2023.06.29

江苏扬州：社区解决老人的烦心事 小区专设“助老充电区”

昨天上午，家住扬州市广陵区曲江街道玺园社区的老人朱沛买菜回家，她并

来源：2023.06.29

世界最新：承德露露：6月28日融资买入435.55万元，融资融券余额2.39亿元

6月28日，承德露露（000848）融资买入435 55万元，融资偿还216 29万元

来源：2023.06.29

桂阳举行农贸市场消防安全应急灭火和疏散演练活动|全球滚动

桂阳开展农贸市场消防安全应急灭火和疏散演练活动。红网时刻新闻6月28

来源：2023.06.29

通州万象汇预计年底完工_天天动态

通州万象汇预计年底完工,公园,万象汇,6号线,地铁站,优质物业,通州区(南

来源：2023.06.29

当前快讯:上海市市场监管局抽查：MORY、佳佰hommy等15批次按摩器具不合格

近日，上海市市场监管局发布按摩器具监督抽查情况。

来源：2023.06.29

上海石化：6月28日融券净卖出5.1万股，连续3日累计净卖出15.18万股 环球聚看点

6月28日，上海石化（600688）融资买入114 68万元，融资偿还147 51万元

来源：2023.06.29

环球观察：号子里的那些人_号子

1、劳动号子是产生并应用于劳动的民间歌曲，具有协调与指挥劳动的实际

来源：2023.06.29

新闻快讯

X 关闭

精品推荐

X 关闭

新闻快讯