再创历史新高 比亚迪5月新能源车销量24.02万辆
2023-06-01
谷歌大脑最新操作玩“复古”：不用卷积注意力，图像分类接近SOTA
2021.05.06 17:57:32来源:
量子位
本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。
谷歌大脑的视觉Transformer团队（ViT），搞了个复古操作。
他们不用卷积神经网络（CNN）、也不用Transformer，仅凭最早的AI视觉任务采用的多层感知机（MLP）结构，就实现了接近SOTA的性能，更是在ImageNet图像分类任务上取得了87.94%的准确率。
这个架构名为MLP-Mixer，采用两种不同类型的MLP层，可以看做是一个特殊的CNN，使用 1×1卷积进行通道混合（按位操作），同时全感受野和参数共享的的单通道深度卷积进行字符混合（跨位操作）。
在JFT-300M数据集上预训练、微调到224分辨率的Mixer-H/14版本取得了86.32%的准确率，比SOTA模型ViT-H/14仅低0.3%，但运行速度是其2.2倍。
论文地址：
https://arxiv.org/abs/2105.01601
项目地址：
https://github.com/google-research/vision_transformer/tree/linen
您可能也感兴趣:
官方微博/微信
每日头条、业界资讯、热点资讯、八卦爆料，全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与，TechWeb官方微博期待您的关注。
↑扫描二维码想在手机上看科技资讯和科技八卦吗？
想第一时间看独家爆料和深度报道吗？
请关注TechWeb官方微信公众帐号：
1.用手机扫左侧二维码；
2.在添加朋友里，搜索关注TechWeb。
为您推荐
外媒称国内电动汽车电池制造商已在扩展韩国市场
2023-06-01
丰田将向北卡罗来纳州新电池厂再投资21亿美元 投资总额达59亿美元
2023-06-01
苹果App Store去年创收1.1万亿美元 超九成归于开发者和企业
2023-06-01
外媒：苹果MR头显设计独特复杂 给生产带来前所未有的挑战
2023-06-01
iPhone 15 Pro Max核心参数曝光：首发3nm A17芯片+8GB内存
2023-06-01
机构数据显示特斯拉Model Y一季度在国内销售9.44万辆
2023-06-01
马斯克深夜到访特斯拉上海超级工厂 新款Model 3或将量产
2023-06-01
阿里影业2023财年经调整EBITA盈利2.95亿元 同比增加106%
2023-05-31
周鸿祎：多模态大模型+物联网 是下一个风口
2023-05-31
更多
- 再创历史新高 比亚迪5月新能源车销量24.02万辆
- B站第一季度净亏损同比大幅收窄72% 日活用户达9370万
- 理想5月交付28000辆新车，首次实现百亿级月收入
- 魔搭社区举办AI编程马拉松大赛，获胜队伍有望共享千万美金风投资金池
- 「京东京造」携手「什么值得买」打造618好物清单
- 专访亲宝宝冯培华：探索母婴领域“类ChatGPT”的大模型应用产品
- VectorPath加速卡已通过PCI-SIG的PCIe Gen5认证
- 哪吒汽车5月全系交付13029辆 同比增长18%，哪吒GT交付1716辆
- 360孙浩：进军SMB市场，360安防产品有独特优势
- 再创品牌新高 广汽埃安5月销量45003辆，同比增长114%
更多
- 起亚计划2030年在欧洲销售超过50万辆电动汽车 占年度销量近三分之一
- LG新能源和现代汽车集团将斥资43亿美元在美合建一家电池厂
- 外媒称国内电动汽车电池制造商已在扩展韩国市场
- 丰田将向北卡罗来纳州新电池厂再投资21亿美元 投资总额达59亿美元
- 业内人士透露英伟达A100、H100等供不应求 但部分厂商将优先供应
- 传言称VR节奏游戏《节奏光剑》或将登陆苹果首款MR头显
- 苹果App Store去年创收1.1万亿美元 超九成归于开发者和企业
- 韩国半导体出口额同比仍在下滑 5月份降至73.7亿美元
- 外媒：苹果MR头显设计独特复杂 给生产带来前所未有的挑战
- 机构数据显示特斯拉Model Y一季度在国内销售9.44万辆
