中國圖象圖形學(xué)報最新期刊目錄

多元軟混合樣本驅(qū)動的圖文對齊人臉偽造檢測————作者：王詩雨;馮才博;劉春曉;金逸勝;

摘要：目的 隨著人臉圖像合成技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的人臉偽造技術(shù)對社會信息安全的負(fù)面影響日益增長。然而，由于不同偽造方法生成的樣本之間的數(shù)據(jù)分布存在較大差異，現(xiàn)有人臉偽造檢測方法準(zhǔn)確性不高，泛化性較差。為了解決上述問題，提出一種多元軟混合樣本驅(qū)動的圖文對齊人臉偽造檢測新方法，充分利用圖像與文本的多模態(tài)信息對齊，捕捉微弱的人臉偽造痕跡。方法 考慮到傳統(tǒng)人臉偽造檢測方法僅在單一模式的偽造圖像上訓(xùn)練，難...

結(jié)構(gòu)感知增強(qiáng)與跨模態(tài)融合的文本圖像超分辨率————作者：朱仲杰;張磊;李沛;屠仁偉;白永強(qiáng);王玉兒;

摘要：目的 場景文本圖像超分辨率是一種新興的視覺增強(qiáng)技術(shù)，用于提升低分辨率文本圖像的分辨率，從而提高文本可讀性。然而，現(xiàn)有方法無法有效提取文本結(jié)構(gòu)動態(tài)特征，導(dǎo)致形成的語義先驗無法與圖像特征有效對齊并融合，進(jìn)而影響圖像重建質(zhì)量并造成文本識別困難。為此，提出一種基于文本結(jié)構(gòu)動態(tài)感知的跨模態(tài)融合超分辨率方法以提高文本圖像質(zhì)量和文本可讀性。方法 首先，構(gòu)建文本結(jié)構(gòu)動態(tài)感知模塊，通過方向感知層和上下文關(guān)聯(lián)單元，分...

融合特征增強(qiáng)與互補(bǔ)的手物姿態(tài)估計方法————作者：顧思遠(yuǎn);高曙;

摘要：目的 從單個RGB圖像進(jìn)行聯(lián)合手物姿態(tài)估計極具挑戰(zhàn)性，當(dāng)手與物體交互時，經(jīng)常會發(fā)生嚴(yán)重的遮擋。現(xiàn)有的手物特征提取網(wǎng)絡(luò)通常使用特征金字塔網(wǎng)絡(luò)（feature pyramid network,FPN）融合多尺度特征，然而，基于FPN的方法存在通道信息丟失的問題。為此，提出手物特征增強(qiáng)互補(bǔ)模型（hand-object feature enhancement complementary,HOFEC）。方法...

邊界線索深度融合息肉圖像分割網(wǎng)絡(luò)————作者：章東平;李錚;謝亞光;王都洋;湯斯亮;卜玉真;王夢婷;

摘要：目的 在醫(yī)療保健領(lǐng)域，復(fù)雜多變的背景分布、息肉形態(tài)與尺寸的顯著差異以及邊界定義的模糊性為實(shí)現(xiàn)息肉的精確分割造成諸多挑戰(zhàn)。為應(yīng)對上述難題，創(chuàng)新性地提出一種針對結(jié)腸鏡檢查過程中息肉分割問題的深度學(xué)習(xí)模型，即息肉邊界線索深度融合網(wǎng)絡(luò)（polyp boundary cues deep fusion network,PBCDF-Net）。方法 PBCDF-Net網(wǎng)絡(luò)使用Res2Net-50作為骨干網(wǎng)絡(luò)，并設(shè)...

漸進(jìn)特征提取和頻域信息補(bǔ)充的多模態(tài)醫(yī)學(xué)圖像融合————作者：李夫辰;高珊珊;劉崢;張彩明;周元峰;

摘要：目的 如何充分保留各模態(tài)獨(dú)有特征的細(xì)節(jié)以及有效整合模態(tài)間共有特征是多模態(tài)醫(yī)學(xué)圖像融合領(lǐng)域亟待突破的共性問題。目前常用的雙分支圖像編碼方法存在對模態(tài)間相互依賴、相互關(guān)聯(lián)的共有特征信息交互方式不夠完善、過程不夠充分的問題，影響了多模態(tài)成像間特征相關(guān)性的建立。對此，設(shè)計了基于漸進(jìn)特征提取、頻域信息補(bǔ)充以及Swin Transformer結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural netw...

《中國圖象圖形學(xué)報》視覺及多模態(tài)大模型專欄簡介————作者：方樂緣;賈偉;林倞;譚明奎;王耀威;吳慶耀;韓向娣;

摘要：<正>視覺大模型和多模態(tài)大模型是當(dāng)前人工智能領(lǐng)域新的研究熱點(diǎn)和國際研究前沿，受到學(xué)術(shù)界和工業(yè)界的極大關(guān)注。視覺大模型可以更好地解決復(fù)雜視覺任務(wù)，應(yīng)用潛力巨大；多模態(tài)大模型則可通過融合文本、圖像、音頻、視頻、雷達(dá)等不同類型的數(shù)據(jù)，實(shí)現(xiàn)更豐富、更全面的場景理解和信息處理。迅速發(fā)展的視覺及多模態(tài)大模型，有望為智能感知、人機(jī)交互、具身智能等提供全新思路和途徑，在智慧城市、智慧交通、無人駕駛、智...

視覺模型及多模態(tài)大模型推進(jìn)圖像復(fù)原增強(qiáng)研究進(jìn)展————作者：韋炎炎;毛天一;李柏昂;王飛;李鋒;張召;趙洋;

摘要：圖像在拍攝、傳輸和存儲過程中常會出現(xiàn)退化情況，影響視覺感知和信息理解。圖像復(fù)原增強(qiáng)旨在將降質(zhì)圖像恢復(fù)為干凈圖像，以提升視覺感知體驗，并提高如語義分割和目標(biāo)檢測等計算機(jī)視覺任務(wù)的精度，在自動駕駛和智能醫(yī)療等數(shù)據(jù)敏感的應(yīng)用場景有重要作用。視覺及多模態(tài)大模型在多個領(lǐng)域取得重要進(jìn)展，并在圖像復(fù)原增強(qiáng)任務(wù)中展現(xiàn)出巨大潛力。對此，本文系統(tǒng)總結(jié)并分析近年國內(nèi)外圖像復(fù)原增強(qiáng)領(lǐng)域應(yīng)用視覺（大）模型和多模態(tài)大模型的重...

基于聯(lián)合嵌入空間的視頻文本檢索研究綜述————作者：董闖;栗偉;巴聰;覃文軍;

摘要：視頻在人們?nèi)粘Ｉ�活中扮演著重要角色，面對爆炸式增長的視頻數(shù)據(jù)，視頻文本檢索為用戶提供便捷的方式檢索感興趣的信息。視頻文本檢索旨在利用用戶輸入的文本或視頻查詢，在視頻或文本庫中檢索出與輸入內(nèi)容最相關(guān)的視頻或文本。對基于聯(lián)合嵌入空間的視頻文本檢索工作進(jìn)行系統(tǒng)梳理和綜述，以便認(rèn)識和理解視頻文本檢索的發(fā)展。首先從基于聯(lián)合嵌入空間的視頻文本檢索的4個步驟：視頻特征表示提取、文本特征表示提取、視頻文本特征對齊...

以神經(jīng)輻射場和三維高斯?jié)姙R為基礎(chǔ)的文本指導(dǎo)三維編輯綜述————作者：盧麗華;張曉輝;魏輝;李茹楊;杜國光;王斌強(qiáng);

摘要：文本引導(dǎo)的三維編輯可以根據(jù)目標(biāo)文本的引導(dǎo)，改變現(xiàn)有三維資產(chǎn)的幾何形狀和外觀，從而創(chuàng)建多樣化和高質(zhì)量的三維資產(chǎn)。先進(jìn)三維神經(jīng)表示、文本引導(dǎo)圖像生成與編輯等一系列關(guān)鍵技術(shù)的出現(xiàn)和發(fā)展，推動了文本引導(dǎo)三維編輯的進(jìn)步。本文主要聚焦于基于神經(jīng)輻射場和三維高斯?jié)姙R的文本指導(dǎo)三維編輯的最新進(jìn)展，并從方法本質(zhì)與編輯能力兩個維度對現(xiàn)有研究進(jìn)行梳理與總結(jié)。具體地，本文將現(xiàn)有研究按照編輯約束，分為無約束、隱式約束和顯式...

大語言模型引導(dǎo)的視頻檢索數(shù)據(jù)迭代優(yōu)化————作者：曾潤浩;李嘉梁;卓奕深;段海涵;陳奇;胡希平;

摘要：目的 視頻文本跨模態(tài)檢索旨在從視頻庫或給定視頻中檢索出語義上與給定查詢文本最相似的視頻或視頻片段，是視頻理解的重要應(yīng)用之一。現(xiàn)有方法主要聚焦于如何通過跨模態(tài)交互提高模態(tài)間的語義匹配，但忽略了目前數(shù)據(jù)集存在一個查詢文本對應(yīng)多個視頻片段或視頻的問題。該問題在訓(xùn)練過程中可能導(dǎo)致模型混淆，制約模型性能。為此，提出一種大語言模型引導(dǎo)的視頻檢索數(shù)據(jù)迭代優(yōu)化方法。方法 通過視覺文本相似度定位出數(shù)據(jù)集中存在一對多...

信息解耦式自監(jiān)督預(yù)訓(xùn)練語音大模型————作者：王龍標(biāo);江宇;王天銳;王曉寶;黨建武;

摘要：目的 探討了一種基于語音信息解耦策略的語音預(yù)訓(xùn)練大模型，利用海量無標(biāo)注語音數(shù)據(jù)提取獨(dú)立的語言信息、副語言信息和非語言信息，為下游的大語言模型和生成模型提供完備且可控的語音信息，推動言語交互系統(tǒng)的發(fā)展。方法 提出了一種基于信息解耦的自監(jiān)督語音表征學(xué)習(xí)大模型，以高效解耦韻律、說話人及內(nèi)容特征。在編碼器風(fēng)格的自監(jiān)督預(yù)訓(xùn)練策略基礎(chǔ)上，引入兩個輕量化模塊，增強(qiáng)韻律和說話人特征提取。同時為避免已提取的信息干擾...

語義微調(diào)和跨模態(tài)檢索增強(qiáng)的中文醫(yī)學(xué)報告生成————作者：李恒泰;劉慧;陳公冠;閆子申;盛玉瑞;張彩明;

摘要：目的 醫(yī)學(xué)報告生成旨在根據(jù)醫(yī)學(xué)影像生成準(zhǔn)確的診斷結(jié)果，以減輕醫(yī)生負(fù)擔(dān)、提高臨床工作效率。然而，中文醫(yī)學(xué)報告生成在準(zhǔn)確理解醫(yī)學(xué)影像及規(guī)范描述醫(yī)學(xué)報告方面仍存在局限，并存在幻覺問題。為應(yīng)對上述挑戰(zhàn)，提出一種基于語義微調(diào)和跨模態(tài)檢索增強(qiáng)的中文醫(yī)學(xué)報告生成模型FRCM。方法 基于多模態(tài)大模型LLaVA，對其視覺編碼器和大語言模型進(jìn)行領(lǐng)域適配與微調(diào)，并提出一種通用數(shù)據(jù)與垂域數(shù)據(jù)協(xié)同訓(xùn)練策略：利用通用數(shù)據(jù)提高...

結(jié)合反事實(shí)提示與級聯(lián)解碼SAM的超聲圖像分割————作者：霍一儒;封筠;劉娜;史屹琛;殷夢瑩;

摘要：目的 分割一切模型（segment anything model,SAM）在自然圖像分割領(lǐng)域已取得顯著成就，但應(yīng)用于醫(yī)學(xué)成像尤其是涉及對比度低、邊界模糊和形狀復(fù)雜的超聲圖像時，分割過程往往需要人工干預(yù)，并且會出現(xiàn)分割性能下降情況。針對上述問題，提出一種結(jié)合反事實(shí)提示與級聯(lián)解碼SAM的改進(jìn)方法（SAM combined wihongth counterfactual prompt and casca...

視覺語言模型引導(dǎo)的青瓷跨模態(tài)知識圖譜構(gòu)建————作者：肖剛;方靜雯;張豪;劉瑩;周曉峰;徐俊;

摘要：目的 青瓷是中華民族文化瑰寶中的璀璨明珠，也是中外交流的文化使者。在文化數(shù)智化背景下，構(gòu)建青瓷跨模態(tài)知識圖譜是推動青瓷文化保護(hù)傳承的關(guān)鍵技術(shù)之一。在此過程中，實(shí)現(xiàn)不同模態(tài)間相同實(shí)體的匹配至關(guān)重要，涉及到對齊等價實(shí)體的不同模態(tài)特征。為最大程度地提升青瓷圖像與文本間的匹配度，提出了一種基于視覺語言預(yù)訓(xùn)練（vision-language pretraining,VLP）模型的圖像多特征映射的跨模態(tài)實(shí)體對...

結(jié)合雙重對比嵌入學(xué)習(xí)的生成式零樣本圖像識別————作者：張桂梅;閆文尚;黃軍陽;

摘要：目的 零樣本學(xué)習(xí)（zero-shot learning,ZSL）是解決樣本數(shù)據(jù)缺失情況下目標(biāo)識別的有效方法。傳統(tǒng)的零樣本識別是通過對帶標(biāo)簽的可見類數(shù)據(jù)訓(xùn)練，實(shí)現(xiàn)對無標(biāo)簽的未見類新數(shù)據(jù)的識別。根據(jù)任務(wù)設(shè)置的不同，分為傳統(tǒng)零樣本學(xué)習(xí)（conventional zero-shot learning,CZSL）和廣義零樣本學(xué)習(xí)（generalized zero-shot learning,GZSL）。生成...

特征擾動池融合機(jī)制的多類工業(yè)缺陷檢測————作者：楊杰;胡文軍;臧影;

摘要：目的 多類缺陷檢測是工業(yè)檢測領(lǐng)域中的重要應(yīng)用場景，現(xiàn)有方法因需訓(xùn)練多個模型而導(dǎo)致其耗時耗內(nèi)存嚴(yán)重，同時多類之間因存在特征擾動導(dǎo)致現(xiàn)有模型魯棒性欠佳。為此，本文聯(lián)合特征擾動池和多層特征融合提出一種多類缺陷檢測的新網(wǎng)絡(luò)。方法 一方面通過特征擾動池強(qiáng)化模型對特征的魯棒性，另一方面將各層網(wǎng)絡(luò)輸出特征進(jìn)行融合，從而降低模型對數(shù)據(jù)分布的依賴性和提升對特征間復(fù)雜關(guān)系的捕捉能力。結(jié)果 與SOTA(state of...

雙分支注意和特征交互的小樣本細(xì)粒度學(xué)習(xí)————作者：文浪;茍光磊;白瑞峰;繆宛諭;

摘要：目的 細(xì)粒度圖像分類旨在區(qū)分視覺上高度相似但語義不同的類別。在實(shí)際應(yīng)用中，獲取大規(guī)模標(biāo)注數(shù)據(jù)成本昂貴且需要專業(yè)技能。傳統(tǒng)分類方法難以捕捉圖像中的細(xì)微差異，導(dǎo)致在少量樣本環(huán)境下，細(xì)粒度圖像分類性能較差。因此，研究如何應(yīng)用小樣本學(xué)習(xí)方法來解決細(xì)粒度問題顯得尤為重要。為此，提出一種雙分支注意和特征交互的小樣本細(xì)粒度圖像分類方法。方法 設(shè)計雙分支注意力模塊嵌入特征提取網(wǎng)絡(luò)，通過并行空間與通道路徑動態(tài)調(diào)節(jié)模...

一致性約束引導(dǎo)的零樣本三維模型分類網(wǎng)絡(luò)————作者：晏浩;白靜;鄭虎;

摘要：目的 零樣本三維模型分類任務(wù)自提出起，始終面臨大規(guī)模數(shù)據(jù)集與高質(zhì)量語義信息的短缺問題。為應(yīng)對這些問題，現(xiàn)有方法引入二維圖像領(lǐng)域中蘊(yùn)含豐富的數(shù)據(jù)集和語義信息的大規(guī)模預(yù)訓(xùn)練模型，這些方法基于語言—圖像對比學(xué)習(xí)預(yù)訓(xùn)練網(wǎng)絡(luò)，取得了一定的零樣本分類效果。但是，現(xiàn)有方法對三維信息捕捉不全，無法充分利用來自三維領(lǐng)域的知識，針對這一問題，提出一致性約束引導(dǎo)的零樣本三維模型分類網(wǎng)絡(luò)。方法 一方面，在保留來自預(yù)訓(xùn)練網(wǎng)...

結(jié)合深度殘差與多特征融合的步態(tài)識別方法————作者：羅亞波;梁心語;張峰;李存榮;

摘要：目的 步態(tài)識別是交通管理、監(jiān)控安防領(lǐng)域的關(guān)鍵技術(shù)，為了解決現(xiàn)有步態(tài)識別算法無法充分捕捉和利用人體生物特征，在協(xié)變量干擾下模型精度降低的問題，本文提出一種深度提取和融合步態(tài)特征與身形特征的高精度步態(tài)識別方法。方法 首先使用高分辨率網(wǎng)絡(luò)（high resolution network,HRNet）提取出人體骨架關(guān)鍵點(diǎn)；以殘差神經(jīng)網(wǎng)絡(luò)ResNet-50 (residual network)為主干，利用深...

融合自適應(yīng)稀疏變換學(xué)習(xí)的磁共振指紋重建方法————作者：李敏;劉洋;蔡慶瑞;朱旭元;

摘要：目的 磁共振指紋成像（magnetic resonance fingerprinting,MRf）是一種快速高效的定量成像技術(shù)。本研究旨在提出一種融合自適應(yīng)稀疏變換學(xué)習(xí)的MRf重建方法，以提高參數(shù)反演的準(zhǔn)確性、改善折疊噪聲的抑制效果，并保護(hù)圖像的邊緣特征。方法 基于盲壓縮感知（blind compress sensing,BCS）理論，將稀疏變換學(xué)習(xí)重建模型引入MRf模型，通過數(shù)據(jù)驅(qū)動的自適應(yīng)學(xué)習(xí)...

　　中國圖象圖形學(xué)報來自網(wǎng)友的投稿評論：

提交