美团-2020美团技术年货——顶会论文精选（英文）-2021.1-130页_15mb

2020 美团技术年货总结

核心内容

2020年美团技术年货聚焦于多媒体领域的前沿研究，特别是食品识别、视频摘要、场景文本检测、推荐系统、视觉对话、三维定位、轨迹预测、语音克隆等方向。其中，ISIA Food-500 是一篇重点论文，提出了一个大规模、高多样性的食品图像数据集，并结合堆叠全局-局部注意力网络（SGLANet）来提升食品识别性能。

主要观点

1. ISIA Food-500 数据集

• 数据规模：包含500个食品类别和约399,726张图像。
• 数据来源：基于Wikipedia的食品分类列表，通过多搜索引擎爬取图像，增加多样性。
• 数据清洗：采用自动与人工结合的方式，过滤非食品图像，提升数据质量。
• 数据特点：覆盖全球多种饮食文化，包括东西方美食，且类别数量远超现有主流数据集（如Food-101、Vireo Food-172）。
• 数据应用：旨在为大规模食品识别任务提供更全面的基准数据集。

2. SGLANet 模型架构

• 模型结构：由两个子网络组成，分别是全局特征学习子网络（GloFLS）和局部特征学习子网络（LocFLS）。
• GloFLS：使用混合空间-通道注意力机制（SCA）提取多尺度特征，结合全局信息（如形状、纹理）进行特征聚合。
• LocFLS：通过级联空间变换器（STs）定位局部区域（如食材相关区域），并融合不同层次的局部特征。
• 损失函数设计：采用联合损失、全局损失和局部损失的组合，以最大化特征表示的判别能力。

3. 实验与结果

• 实验设置：在PyTorch平台上实现模型，图像统一缩放至224×224，使用SGD优化器，初始学习率为0.01。
• 性能对比：
  • Top-1准确率：SGLANet达到64.74%，优于VGG-16、GoogLeNet、ResNet-152等主流模型。
  • Top-5准确率：SGLANet达到89.12%，优于SENet-154、NTS-NET、WS-DAN等细粒度识别方法。
• 消融实验：
  • GloFLS：使用SCA和多尺度策略可提升识别准确率。
  • LocFLS：单独使用时性能略低于GloFLS，但联合使用可进一步提升性能。
  • 损失组合：联合使用全局与局部损失可获得最佳效果，单独使用某类损失无法显著提升性能。
• 可视化分析：
  • GloFLS中的SCA机制在不同层提取不同的全局特征（如形状、纹理）。
  • LocFLS中的STs在不同层定位不同局部区域，减少背景干扰。
  • 两者的结合进一步验证了全局与局部特征学习的互补性。

关键信息

数据集优势

• 规模更大：399,726张图像，500个类别。
• 类别更全面：覆盖东西方饮食文化及多种食品类型（如肉类、蔬菜、乳制品等）。
• 多样性更高：图像来源广泛，减少单一数据源带来的偏差。

模型创新

• 混合空间-通道注意力机制（SCA）：提升特征的判别能力。
• 级联空间变换器（STs）：用于精确定位局部区域，增强局部特征表达。
• 多损失联合训练：通过不同损失函数的协同作用，提升整体识别性能。

应用场景

• 食品识别：适用于健康饮食管理、自助餐厅图像识别、食品推荐系统等。
• 细粒度识别：食品识别属于细粒度识别任务，需关注细微差异。
• 多媒体智能：推动食品相关多媒体技术的发展，如图像检索、推荐系统等。

总结

ISIA Food-500数据集和SGLANet模型的提出，标志着食品识别领域在数据规模、特征表达和模型性能上的重要进展。该数据集不仅具备更大的类别覆盖和更高的多样性，还通过精心设计的注意力机制和多损失联合训练策略，提升了食品识别的准确率和鲁棒性。这些研究成果为食品计算、多媒体智能、视觉对话等领域的进一步发展奠定了坚实基础。