بازسازی تصاویر براساس محتواCBIR(Content Base Image Retrieval)

مقدمه:

استفاده بسیار زیاد ودسترسی به داده های تصویری در وب باعث رونق فعالیتهای تحقیقاتی در بازیابی وجستجوی تصاویر شده است. حوزه بازیابی تصویر به عنوان علمی میان رشته ای از هوش مصنوعی ،پردازش تصویر،بازیابی اطلاعات ،بینایی کامپیوتر ی ویادگیری ماشین توجه بسیاری از پژوهشگران را به خود جلب کرده است. 

در بازیابی تصویر، هدف یافتن تصاویر مرتبط با مقصود یک کاربر خاص، از بین مجموعه ا ی بزرگ از تصاویر است. معمولا حجم  پایگاه داده تصاویر به قدری زیاد است که جستجوی دستی آن  وقت گیر و عملا ناممکن می باشد. همچنین تصاویر موجود در پایگاه داده ممکن است اندازه ،کیفیت یا حتی کانالهای رنگی متفاوت داشته باشند یا دارای تصاویر یکسان اما با نورپردازی ،چرخش یا مقیاسهای متفاوت باشند. از اینرو نیاز به رو شهایی که بتواند کاربر را با سرعت ودقت بالا به تصاویر مورد نیاز از میان پایگاه داده های بزرگ تصاویر برساند بسیار مورد توجه قرار گرفته است. 

 

انواع روشهای بازیابی تصاویر:

بازیابی تصاویر به صورت کلی به دو دسته تقسیم میشود:

1-بازیابی تصاویر براساس متن:

روش معمول و سنتی تصاویر، بازیابی مبتنی بر متن است. در این روش کلمات کلیدی برای توصیف محتوای تصویر  استفاده میشوند. تصاویر توسط اطلاعات متنی همراه خود، مانند نام تصویر، نوع تصویر، کلمات کلیدی ،متنی که تصویر به آن مربوط است و غیره در مجموعه داده شاخص گذاری میشوند وبازیابی از طریق جستجو در این مجموعه داده و بر اساس این اطلاعات متنی صورت می گیرد.

به طور کلی سامانه های مربوط به این روشها به صورت پرسش محور می باشند . پرسش کاربر شکل متنی دارد و به شکل مجموعه ای از کلمات به سامانه داده میشود.در این سامانه یک مرحله پیش پردازش داریم که همانظور که گفتیم ابتدا باید تصویر حاشیه نویسی شوند ، سپس در فرایند جستجو، با استفاده از یک ساما نه معمولی بازیابی اطاعات، کلمات وارد شده توسط کاربر در پایگاه  داده جستجو میشوند تا تصاویر که برچسب مشابه دارند پیداشوند.

از جمله سامانه های پرسش محور میتوان به گوگل وآلیپر اشاره کرد.

این مدل بازیابی تصاویر دارای مشکلات عمده ای می باشند ،که استفاده از این روش دچار مشکل میکند از جمله میتوان به موارد زیر اشاره کرد:

نخستین مشکل زمان وهزینه زیادی است که برای حاشیه نویسی مورد نیاز است. معمولا برای حاشیه زدن تصاویر از نیروی  انسانی استفاده میشودکه با حجم عظیم اغلب پایگاه داده تصویر،نیازمند تلا ش بسیارزیادی است.به همین دلیل روشهای بساری برای حاشیه نویسی خودکار تصاویر طراحی شده است.این روشها تلاش میکنند که با مجموعه داده های  نسبتا کوچکی از تصاویر حاشیه نویسی شده ،برچسب مجموعه ای بزرگ از تصاویررا مشخص کنند.

دومین مشکل اختلاف ادراک افراد مختلف از یک تصویریکسان است.علاوه بر این ممکن است بعضی از تصاویر با یک یا چند کلید واژه قابل توصیف نباشند.به خاطر وجود چنین مشکلاتی راه حل بازیابی تصاویر بر اساس محتوا بوجود آمد.

2- بازیابی تصاویر براساس محتوا

این تکنیک از سال 1990 به عنوان یک زمینه ی تحقیقاتی فعال و همچنان د رحال توسعه به وجود آمده است. در سال ۱۹۹۲ بنیاد علمی ملی آمریکا به منظور تعیین رو شها وجهت های جدید درسیستمها ی مدیریت پایگاه داده کارگاه تخصصی برای سیستمهای مدیریتت اطلاعات بصری سازماندهی کرد. در این کارگاه تشخیص داده شد که بهترین موثرترین روش برای نمایش وشاخص گذاری اطلاعات بصری بر اساس ویژگی های ذاتی در خود تصاویر است.بازیابی تصاویر براساس محتوا،از محتوای  تصویر با توجه به علائق کاربر برای جستجو در پایگاه داده های بزرگ تصاویر استفاده می کند ودر طی دهه های اخیر پیشرفت های زیادی هم در زمینه های  تحقیقاتی هم در زمینه های علمی  داشته است. اما هنوز هم مسائل چالش برانگیزی در این حوزه باقی مانده که سبب جذب محقیقن شده است.

ایده ی اصلی که در این رو شها از آن استفاده می شود، این است که به جای اینکه کلمات و عباراتی همراه با تصویر به عنوان حاشیه نویسی ذخیره شوند،ویژگی های بصری استخراج شده از آ نها، همراه با تصویر ذخیره می شوند. بازیابی نیز صرفًا از طریق همین ویژگی های استخراج شده انجام م میشود. این روش از محتوای بصری یک تصویر مانند رنگ ،بافت ،شکل وغیره برای نمایش وشاخص گذاری تصاویر استفاده میشود.در یک سیستم بازیابی تصاویر براساس محتوا  مراحل زیرطی میشود:

1-      ویژگی های تصاویر موجود در پایگاه داده استخراج شده و هر تصویر توسط یک بردار ویژگی  بصری چند بعدی توصیف میشود.

2-      بردارهای ویژگی تمام تصاویر موجود در پایگاه داده، یک پایگاه داده ی بزرگ از ویژگی ها را تشکیل می دهد.

3-      کاربرورودی خود را از طریق وارد کردن یک تصویر، کشیدن یک طرح نمونه، مشخص کردن ویژگی های بصری یا معنایی مورد نظر، و مانند آن برای سیستم تعریف می کند.

4-      سیستم ، ورودی ارائه شده توسط کاربر را به نمایش داخلی خود از بردار ویژگی ها تبدیل می کند.

5-      از طربق شباهت سنجی بین بردار ویژگی ورودی و ویژگی موجود در پایگاه داده، تصاویر مشابه بازیابی میشوند.

6-      در بعضی از سیستمها از بازخورد کاربر به منظور اصلاح فرایند بازیابی به نحویکه نتایج بازیابی بهتری از نظر ادراکی و معنایی ایجاد کند، استفاده می شود.

بدین ترتیب در سامانه های محتوا محور بازیابی تصویر پرسشی که به عنوان ورودی به سامانه داده میشود، نه از جنس متن بلکه تصویر است. به این ترتیب وظیفه سامانه بازیابی تصویر این اس که با مقایسه تصویر ورودی با تصویر پایگاه داده ،تصاویر مشابه با آن را پیدا کرده و به کاربر نمایش دهد.ایناهت چگونه شباهت چگونه تعریف شود

وچه ویژگیهایی از تصویر در تعریف آن نقش داشته باشند،مسائلی هستند که پزوهشگران این حوزه به کاربرروی آن می پردازند.

از جمله سامانه های محتوامحور به سامانه آناکتیسی میتوان اشاره نمود.

یک سامانه محتوا محور تصویر وبخشهای اصلی آن

چالشهای بازیابی محتوا محور:

سامانه های محتوا محور بازیابی تصویر، برخلاف سامانه های بازیابی متن (همانند موتورهای جستجو که در اینترنت بسیار استفاده میشود)، هنوز تا رسیدن به توانایی هاو هوش انسانی در بازیابی تصاویر فاصله زیادی دارند. به عبارت بهتر، اگرچه سامانه های بازیابی متنی، توانسته اند در سالها اخیر به دقت بسار بالایی برسندو در بازیابی متون، به ادراک انسان نزدیک شوند، اما در زمینه بازیابی تصویر، بهترین سیتتمها ی موجود نیز،برا ی پرسشها ی عمومی از دقت قابل قبولی برخوردار نیستند. دلیل عمده این موضوع را می توان در وجو د دوچالش عمده در این حوزه دانست که به شکافهای بازیابی تصاویر معروفند. شکاف حسگری وشکاف معنایی.

شکاف حسگری به معنا ی اختلاف یا شکاف بین سوژه ایست که در جهان واقع قرار دارد، با آنچه که به عنوان توصیف یا اطلاعات مربوط به سوژه، توسط یک حسگر ثبت شده و در سیستم ذخیره میتود. شکاف حسگری معمولا از ضعف های  دستگاهها حرارتی ( دوربین ها معمولی یا حرارتی، دوربین فروسرخ )ناشی میشود وماهیت سخت افزاری دارند.

در دیگر سو شکاف معنایی را داریم که عبارت است از عدم اشتراک بین آنچه به عنوان اطلاعات (معمولا سطح پایین ) از محتوا ی بصری تصویر (مقادیر سطوح رنگ پیکسلها) استخراج میتود و تفسیری که کاربرسامانه از همان محتوا بصر در یک شرایط خاص انجام میدهد و انتظار دارد سامانه هم طبق همان تفسیر،عمل نماید. شکاف معنایی درواقع حاصل فاصله ای است که بین ویژگیها ی سطح پایین استخراجی از تصویر و معنا ی سطح بالا مد نظر کاربر وجود دارد.

برا ی مقابله با شکاف معنایی در حوزه بازیابی تصویر از رهیافت ها گوناگون و بسیار متنوعی استفاده شده است . به طور کلی میتوان این رو شها را در سه گام اصلی بازیابی محتوا محور تصویر دسته بند ی نمود. این سه گام عبارتند از استخراج شاخصه ها، تعریف معیار فاصله بااین تصاویر و در نهایت استفاده از تکنیک بازخورد شباهت .معمولا سامانه های بازیابی تصویر چه براساس متن وچه محتوا محور وهر چقدرهم ازتکنیکهای پیچیده ای استفاده کنند،در تشخیص ادراک کاربرا ن گوناگون از تصاویر و برآ وردن نیازها ی آنها، به دشوار ی برمیخورند. از اینرو، بسیار ی از سامانه های امروز ی تلاش می کنند تافرایند جتسجو را به فرایند تعاملی تبدیل نموده و کاربر را نیز در آن دخیل سازند.

بررسی روشهای انجام شده برای بازیابی تصاویر براساس محتوا:

با توجه به اینکه چندین سال است محققان برروی این مسئله کار میکنند روشهای زیادی برای بازیابی تصاویر براساس محتوا ارائه شده است که در همه این روشها سعی شده تا حد ممکن مشکلاتی که در این زمینه توضیح داده شد را کمتر کنند وبعضی از این روشها تا حدی به این هدف رسیده اند البته نه به صورت صددرصد.

از سال 1990 تا 2000 مطالعات بسیاری روی بازیابی تصاویر براساس محتوا صورت گرفت . حدود اوایل دهه 2000 ،معرفی برخی از بینش ها و روش های جدید باعث ایجاد روند تحقیق دیگری در CBIR شد.خصوصا دو روش در این زمینه برای پایگاه داده های بزرگ تصاویر معرفی شد.

-اولین مورد ویژکیهای بصری بدون تغییر محلی که به SIFT معروف است.این روش در بسیاری از مقالات بصورت عالی توصیف شده است.همچنین این روش میتواند به خوبی چرخش وتبدیل مقیاس راذخیره نماید ودربرابر تغییرات روشنایی مقاوم می باشد.

- مورددوم معرفی مدل Bow(Beg-of-Visual-Words)

این مدل یک نمایش فشرده از تصاویر براساس کمی کردن خصوصیات  محلی می باشد وبه سرعنت وراحتی با ساختار ایندکس فایل معکوس کلاسیک برای بازیابی مقیاس پذیر تصاویر سازگار شده است.

براساس دو روش فوق، آخرین دهه شاهد ظهور تعداد زیادی کار بر روی بازیابی تصویر مبتنی بر محتوای چندرسانه ای می باشیم. در همین حال ، در صنعت ،برخی از موتورهای تجاری بر روی جستجو تصویر مبتنی بر محتوا با تمرکزهای مختلف راه اندازی شده است.از جمله این موتورها میتوان به موارد زیر اشاره نمود:

Tineye(http://tineye.com/)

Ditto(http://ditto.us.com/)

Snap fashion(https://www.snapfashion.co.uk/)

VISenze(https://www.visenze.com/)

Cortica(http://www.cortica.com)

نتیجه گیری:

به نظر من بیشتر روشهای ارائه شده در حوزه بازیابی تصاویر براساس محتوا با توجه به چارت کشیده شده در قسمتهای قبلی در قسمت تطبیق کردن معیار شباهت می باشد که براساس بررسی که در یک تعدادی  مقاله انجام شده تعداد زیادی از مقالات برروی ویژگی وخصوصیات تصاویر مثل بافت ،رنگ که در حوزه فرکانسی یا مکانی تحقیق شده ومثلا در حوزه فرکانسی در حوزه تبدیل ویولت (موجک ) بررسی زیادی انجام گرفته ،همچنین در بعضی دیگر بر اساس ویژگی های متریک فاصله ودر بعضی دیگر با استفاده از الگوریتمهایی هیورستیک  همچون ژنتیک ، ممتیک و... بررسی انجام گرفته است.