【YOLOv8改进 - 特征融合NECK】 DAMO-YOLO之RepGFPN :实时目标检测的创新型特征金字塔网络

简介: 【YOLOv8改进 - 特征融合NECK】 DAMO-YOLO之RepGFPN :实时目标检测的创新型特征金字塔网络

YOLO目标检测创新改进与实战案例专栏

专栏目录: YOLO有效改进系列及项目实战目录 包含卷积,主干 注意力,检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

介绍

image-20240621152907389

摘要

在文章中,我们介绍了一种快速且准确的目标检测方法,称为DAMO-YOLO,其性能优于最先进的YOLO系列。DAMO-YOLO在YOLO的基础上扩展了几项新技术,包括神经架构搜索(Neural Architecture Search,NAS)、高效的重参数化通用FPN(RepGFPN)、带有AlignedOTA标签分配的轻量化检测头和蒸馏增强。特别地,我们使用MAE-NAS,这是一种遵循最大熵原则的方法,在低延迟和高性能的约束下搜索检测主干网络,产生了类似ResNet/CSP的结构,结合了空间金字塔池化和聚焦模块。在neck和head的设计中,我们遵循“大neck,小head”的原则。我们引入了加速queen-fusion的通用FPN来构建检测neck,并通过高效层聚合网络(ELAN)和重参数化升级了其CSPNet。然后,我们研究了检测头大小对检测性能的影响,发现具有仅一个任务投影层的重neck可以获得更好的结果。此外,AlignedOTA被提出以解决标签分配中的错位问题,并引入了蒸馏方案来进一步提升性能。

基于这些新技术,我们构建了一套适应不同场景需求的模型。针对一般工业需求,我们提出了DAMO-YOLO-T/S/M/L,这些模型在T4 GPU上的延迟分别为2.78/3.83/5.62/7.95毫秒,在COCO数据集上可实现43.6/47.7/50.2/51.9的mAP。此外,对于计算能力有限的边缘设备,我们还提出了DAMO-YOLO-Ns/Nm/Nl轻量化模型,它们在X86-CPU上的延迟分别为4.08/5.05/6.69毫秒,在COCO数据集上可实现32.3/38.2/40.5的mAP。我们提出的通用和轻量化模型在各自的应用场景中性能优于其他YOLO系列模型。代码可在此处获取。

文章链接

论文地址:论文地址

代码地址:代码地址

基本原理:Large Neck: RepGFPN

在FPN(特征金字塔网络)中,多尺度特征融合旨在聚合不同阶段backbone输出的特征,从而增强输出特征的表达能力,提高模型性能。传统的 FPN 引入自上而下的路径来合并多尺度特征。考虑到单向流量的限制,PAFPN增加了一个额外的自下而上的路径聚合网络,但增加了计算成本。为了降低计算强度,YOLO系列检测网络选择PAFPN和CSPNet来融合主干输出的多尺度特征。

他们在ICLR2022中的工作GiraffeDet提出了一种新颖的Light-Backbone Heavy-Neck结构并实现了SOTA性能,因为给定的颈结构GFPN(广义FPN)可以充分交换高层语义信息和低层空间信息。在GFPN中,多尺度特征融合发生在前一层和当前层的不同尺度特征中,此外,跨层连接log_2(n)提供了更有效的信息传输,可以扩展到更深的网络。

image-20240621153134725

因此,他们尝试将GFPN引入DAMO-YOLO中,并且获得了比PANet更高的准确率,这是预期的。但与此同时,GFPN带来了模型推理延迟的增加,使得精度/延迟的权衡并没有取得很大的优势。通过对原始GFPN结构的分析,他们将原因归结为以下几个方面:

(1)不同尺度的特征共享相同数量的通道,这使得很难给出一个最优的通道数来保证高层低层的特征。 - 分辨率特征和低级高分辨率特征具有同样丰富的表达能力;

(2)GFPN使用Queen-Fusion来增强特征之间的融合,而Queen-Fusion包含大量的上采样和下采样操作来实现不同尺度下特征的融合,这极大地影响了推理速度;

(3)GFPN中使用的3x3卷积的跨尺度特征融合效率不高,无法满足轻量级计算的需求,需要进一步优化。

task与yaml配置

详见:https://blog.csdn.net/shangyanaf/article/details/139863259

相关文章
|
26天前
|
机器学习/深度学习 自然语言处理 数据可视化
基于图神经网络的自然语言处理:融合LangGraph与大型概念模型的情感分析实践
本文探讨了在企业数字化转型中,大型概念模型(LCMs)与图神经网络结合处理非结构化文本数据的技术方案。LCMs突破传统词汇级处理局限,以概念级语义理解为核心,增强情感分析、实体识别和主题建模能力。通过构建基于LangGraph的混合符号-语义处理管道,整合符号方法的结构化优势与语义方法的理解深度,实现精准的文本分析。具体应用中,该架构通过预处理、图构建、嵌入生成及GNN推理等模块,完成客户反馈的情感分类与主题聚类。最终,LangGraph工作流编排确保各模块高效协作,为企业提供可解释性强、业务价值高的分析结果。此技术融合为挖掘非结构化数据价值、支持数据驱动决策提供了创新路径。
100 6
基于图神经网络的自然语言处理:融合LangGraph与大型概念模型的情感分析实践
|
3月前
|
机器学习/深度学习 测试技术 网络架构
FANformer:融合傅里叶分析网络的大语言模型基础架构
近期大语言模型(LLM)的基准测试结果显示,OpenAI的GPT-4.5在某些关键评测中表现不如规模较小的模型,如DeepSeek-V3。这引发了对现有LLM架构扩展性的思考。研究人员提出了FANformer架构,通过将傅里叶分析网络整合到Transformer的注意力机制中,显著提升了模型性能。实验表明,FANformer在处理周期性模式和数学推理任务上表现出色,仅用较少参数和训练数据即可超越传统Transformer。这一创新为解决LLM扩展性挑战提供了新方向。
99 5
FANformer:融合傅里叶分析网络的大语言模型基础架构
|
4月前
|
人工智能 监控 物联网
写在2025 MWC前夕:AI与移动网络融合的“奇点时刻”
2025年MWC前夕,AI与移动网络融合迎来“奇点时刻”。上海东方医院通过“思维链提示”快速诊断罕见病,某金融机构借助AI识别新型欺诈模式,均展示了AI在推理和学习上的飞跃。5G-A时代,低时延、大带宽特性支持端云协同,推动多模态AI感知能力提升,数字孪生技术打通物理与数字世界,助力各行业智能化转型。AI赋能移动网络,实现智能动态节能和优化用户体验,预示着更聪明、绿色、高效的未来。
|
3月前
|
负载均衡 数据中心 芯片
NSDI'24 | 阿里云飞天洛神云网络论文解读——《LuoShen》揭秘新型融合网关 洛神云网关
NSDI'24 | 阿里云飞天洛神云网络论文解读——《LuoShen》揭秘新型融合网关 洛神云网关
119 0
|
6月前
|
SQL 安全 网络安全
网络安全与信息安全:知识分享####
【10月更文挑战第21天】 随着数字化时代的快速发展,网络安全和信息安全已成为个人和企业不可忽视的关键问题。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议,帮助读者提高自身的网络安全防护能力。 ####
166 17
|
6月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将从网络安全漏洞、加密技术和安全意识三个方面进行探讨,旨在提高读者对网络安全的认识和防范能力。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调安全意识的重要性,帮助读者更好地保护自己的网络信息安全。
125 10
|
6月前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。
|
6月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的内容,并提供一些实用的代码示例。通过阅读本文,您将了解到如何保护自己的网络安全,以及如何提高自己的信息安全意识。
147 10
|
6月前
|
监控 安全 网络安全
网络安全与信息安全:漏洞、加密与意识的交织
在数字时代的浪潮中,网络安全与信息安全成为维护数据完整性、保密性和可用性的关键。本文深入探讨了网络安全中的漏洞概念、加密技术的应用以及提升安全意识的重要性。通过实际案例分析,揭示了网络攻击的常见模式和防御策略,强调了教育和技术并重的安全理念。旨在为读者提供一套全面的网络安全知识框架,从而在日益复杂的网络环境中保护个人和组织的资产安全。
|
6月前
|
存储 监控 安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
本文将探讨云计算与网络安全之间的关系,以及它们在云服务、网络安全和信息安全等技术领域中的融合与挑战。我们将分析云计算的优势和风险,以及如何通过网络安全措施来保护数据和应用程序。我们还将讨论如何确保云服务的可用性和可靠性,以及如何处理网络攻击和数据泄露等问题。最后,我们将提供一些关于如何在云计算环境中实现网络安全的建议和最佳实践。

热门文章

最新文章

OSZAR »