基于无监督注意力机制的图像去雨雾网络模型

成果编号：37631

价格：面议

完成单位：南京邮电大学

单位类别：其他高校

完成时间：2022年

成熟程度：研制阶段

服务产业领域：电子信息

我要对接关注发送消息

发布人：liulinfeng 在线

发送消息

有雨图像的清晰度常会因为雨条纹和雨滴而退化，这不但不易于从图像中获取信息，而且对后续的一系列图像处理都会造成影响。单幅图像的去雨，由于图像中用于检测和去除图中雨水的有效信息较少，所以相较于视频去雨而言更加困难。该成果采用双向生成对抗网络与循环一致性损失原理来训练不成对的雨图像和无雨图像。同时在无监督训练的情况下引入注意力机制，利用循环搜索定位算法使该网络能够更好地处理单幅图像去雨中的雨雾细节。

74 次浏览分享到

成果介绍

科技计划：

成果形式：新技术

合作方式：技术开发、技术服务

参与活动： 2023年高校院所走进镇江产学研合作对接活动第二届江苏产学研合作对接大会 2023年高校院所服务苏北五市产学研合作对接活动

专利情况：正在申请 ,其中:发明专利 1 项
已授权专利,其中:发明专利 1 项

成果简介

综合介绍

创新要点

将雨图像分为背景层、雨层、雾层，Cycle-Derain网络依据生成对抗网络进行图像的迁移与变换，达到将雨层从雨图像中分离出来的效果，其中雾层的分离采用无监督的注意力机制进行处理。利用了循环搜索定位算法使该网络更好地处理单幅图像去雨中的雨雾细节。在网络中引入了两个循环一致性损失，组成双向生成对抗网络。并在无监督训练的情况下引入注意力机制，实现对雾层的定位及处理，最终达到在不改变原图背景的情况下去除雾层的效果。网络通过对抗损失和循环一致性损失训练的生成器和判别器、检测雾气的注意力机制和去除雾气的循环搜索定位算法，可以实现雨图像中雨痕和雨雾细节的去除。技术优势：网络架构以CycleGAN为主体，采用前向映射和后向映射的双向模块。对于前向映射，有雨图像输入生成器得到无雨图像与有雨图像。同时在训练过程中根据循环一致性损失原理使用判别器判断生成器生成图像的过程是否满足循环一致性。后向映射的实现方法与此相同。

技术指标

相较于其他主流去雨雾模型，有着较为优异的图像去雨雾效果。

其他说明

完成人信息

姓名：对接成功后可查看

所在部门：对接成功后可查看

职务：对接成功后可查看

职称：对接成功后可查看

手机：对接成功后可查看

E-mail：对接成功后可查看

电话：对接成功后可查看

传真：对接成功后可查看

邮编：对接成功后可查看

通讯地址：对接成功后可查看

联系人信息