بازيابي تصوير با استفاده از تركيب شبكەهاي عصبي پيچشي و مبدل‌ها

اصفهان : دانشگاه صنعتي اصفهان

مهندسي كامپيوتر

كارشناسي ارشد

در سال‌هاي اخير، تقاضا براي وضوح فوق‌العاده تصاوير در حوزه‌هاي مختلف به طور چشمگيري افزايش يافته است و نياز به توسعه روش‌هاي كارآمدتر و دقيق‌تر براي اين منظور بيش از پيش احساس مي‌شود. در طول دهه گذشته، شبكه‌هاي عصبي عميق عمدتاً با استفاده از شبكه‌هاي عصبي پيچشي (CNN) در حوزه بينايي كامپيوتر به كار گرفته شده‌اند. با اين حال، موفقيت چشمگير مدل‌هاي مبدل در پردازش زبان طبيعي (NLP) توجه جامعه بينايي كامپيوتر را نيز به خود جلب كرده است. مبدل‌ها كه بر اساس مكانيزم توجه به خود كار مي‌كنند، قادرند ارتباطات ميان تمامي عناصر يك دنباله را مدل‌سازي كنند و به عنوان رويكردي نوين براي حل چالش‌هاي بينايي كامپيوتري مورد توجه قرار گرفته‌اند. در اين پژوهش، از مدل SwinIR كه تلفيقي از شبكه‌هاي عصبي پيچشي و مبدل‌ها را به كار مي‌گيرد، استفاده شده است. براي بهبود عملكرد اين مدل، از ويژگي‌هاي بافتي بهره برده‌ايم تا توانايي SwinIR در پردازش تصاوير با دقت و كيفيت بالاتر افزايش يابد. هدف اصلي ما بهبود عملكرد اين مدل از طريق اعمال مكانيزم توجه به ‌صورت مستقل بر پنجره‌هاي ورودي با ويژگي‌هاي بافتي مشابه است. اين رويكرد سبب مي‌شود مدل در فضاي جستجوي كوچك‌تر و با دقت بيشتري عمل كند و پنجره‌هاي با بافت مشابه بيشتر به يكديگر توجه كنند. به عبارت ديگر، با خوشه‌بندي پنجره‌هاي مشابه، نوعي سوگيري استقرايي به مدل افزوده مي‌شود. ويژگي‌هاي بافتي هر پنجره با استفاده از بانك فيلترهاي گابور استخراج و سپس با استفاده از الگوريتم K-ميانگين دسته‌كوچك، خوشه‌بندي مي‌شوند. در نهايت، مكانيزم توجه به‌طور جداگانه بر روي پنجره‌هاي داراي برچسب مشابه در مدل SwinIR اعمال مي‌شود. نتايج حاصل از اين روش نشان مي‌دهد كه وضوح و كيفيت تصاوير بازسازي‌شده به‌طور قابل توجهي بهبود يافته است.

232720

هوش مصنوعي

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان