കമ്പ്യൂട്ടർ ദർശനത്തിനായുള്ള ഇമേജ് വ്യാഖ്യാനത്തിലേക്കുള്ള ആത്യന്തിക ഗൈഡ്: ആപ്ലിക്കേഷനുകൾ, രീതികൾ, വിഭാഗങ്ങൾ

ഇപ്പോൾ, ഓരോ രീതിയും വിശദമായി പരിഗണിക്കാം.

ചിത്ര വർഗ്ഗീകരണം

ഒരു മുഴുവൻ ചിത്രത്തിനും അതിന്റെ ഉള്ളടക്കത്തെ അടിസ്ഥാനമാക്കി ഒരു ലേബലോ വിഭാഗമോ നൽകുന്ന പ്രക്രിയയാണ് ഇമേജ് വർഗ്ഗീകരണം. ഉദാഹരണത്തിന്, ഒരു നായയെ പ്രധാനമായും ഫോക്കസ് ചെയ്യുന്ന ഒരു ചിത്രമുണ്ടെങ്കിൽ, ആ ചിത്രം "നായ" എന്ന് ലേബൽ ചെയ്യും.

ഇമേജ് അനോട്ടേഷന്റെ പ്രക്രിയയിൽ, ഒബ്ജക്റ്റ് ഡിറ്റക്ഷൻ അല്ലെങ്കിൽ ഇമേജ് സെഗ്മെന്റേഷൻ പോലുള്ള കൂടുതൽ വിശദമായ അനോട്ടേഷനുകൾക്ക് മുമ്പുള്ള ആദ്യപടിയായി ഇമേജ് വർഗ്ഗീകരണം പലപ്പോഴും ഉപയോഗിക്കാറുണ്ട്, കാരണം ഒരു ചിത്രത്തിന്റെ മൊത്തത്തിലുള്ള വിഷയത്തെ മനസ്സിലാക്കുന്നതിൽ ഇത് നിർണായക പങ്ക് വഹിക്കുന്നു.

ഉദാഹരണത്തിന്, നിങ്ങൾക്ക് ഓട്ടോണമസ് ഡ്രൈവിംഗ് ആപ്ലിക്കേഷനുകൾക്കായി വാഹനങ്ങൾ വ്യാഖ്യാനിക്കണമെങ്കിൽ, "വാഹനങ്ങൾ" എന്ന് തരംതിരിച്ചിരിക്കുന്ന ചിത്രങ്ങൾ നിങ്ങൾക്ക് തിരഞ്ഞെടുക്കാനും ബാക്കിയുള്ളവ അവഗണിക്കാനും കഴിയും. കൂടുതൽ വിശദമായ ഇമേജ് വ്യാഖ്യാനത്തിനായി പ്രസക്തമായ ചിത്രങ്ങൾ ചുരുക്കി ഇത് ധാരാളം സമയവും പരിശ്രമവും ലാഭിക്കുന്നു.

ഒരു ചിത്രത്തിന്റെ പ്രധാന വിഷയത്തെ അടിസ്ഥാനമാക്കി വ്യത്യസ്ത ലേബൽ ചെയ്ത ബോക്സുകളിൽ ചിത്രങ്ങൾ ഇടുന്ന ഒരു തരംതിരിക്കൽ പ്രക്രിയയായി ഇതിനെ കരുതുക, കൂടുതൽ വിശദമായ വ്യാഖ്യാനത്തിനായി നിങ്ങൾ പിന്നീട് ഇത് ഉപയോഗിക്കും.

പ്രധാന പോയിന്റുകൾ:

• ഓരോ വസ്തുവിനെയും പ്രാദേശികവൽക്കരിക്കുന്നതിനുപകരം മുഴുവൻ ചിത്രവും എന്തിനെ പ്രതിനിധീകരിക്കുന്നു എന്ന് കണ്ടെത്തുക എന്നതാണ് ആശയം.
• ഇമേജ് വർഗ്ഗീകരണത്തിനുള്ള ഏറ്റവും സാധാരണമായ രണ്ട് സമീപനങ്ങളിൽ സൂപ്പർവൈസ്ഡ് ക്ലാസിഫിക്കേഷൻ (മുൻകൂട്ടി ലേബൽ ചെയ്ത പരിശീലന ഡാറ്റ ഉപയോഗിച്ച്), സൂപ്പർവൈസ്ഡ് അല്ലാത്ത വർഗ്ഗീകരണം (വിഭാഗങ്ങൾ യാന്ത്രികമായി കണ്ടെത്തൽ) എന്നിവ ഉൾപ്പെടുന്നു.
• മറ്റ് നിരവധി കമ്പ്യൂട്ടർ വിഷൻ ടാസ്‌ക്കുകൾക്കുള്ള അടിത്തറയായി പ്രവർത്തിക്കുന്നു.

ഒബ്ജക്റ്റ് ഡിറ്റക്ഷൻ

ഇമേജ് വർഗ്ഗീകരണം മുഴുവൻ ചിത്രത്തിനും ഒരു ലേബൽ നൽകുമ്പോൾ, ഒബ്ജക്റ്റ് ഡിറ്റക്ഷൻ വസ്തുക്കളെ കണ്ടെത്തി അവയെക്കുറിച്ചുള്ള വിവരങ്ങൾ നൽകിക്കൊണ്ട് ഒരു പടി കൂടി മുന്നോട്ട് പോകുന്നു. വസ്തുക്കളെ കണ്ടെത്തുന്നതിനു പുറമേ, ഓരോ ബൗണ്ടിംഗ് ബോക്സിനും ഒരു ക്ലാസ് ലേബലും (ഉദാ: “കാർ,” “വ്യക്തി,” “നിർത്തൽ ചിഹ്നം”) നൽകുന്നു, ഇത് ചിത്രത്തിൽ അടങ്ങിയിരിക്കുന്ന വസ്തുവിന്റെ തരം സൂചിപ്പിക്കുന്നു.

കാറുകൾ, കാൽനടയാത്രക്കാർ, ഗതാഗത ചിഹ്നങ്ങൾ എന്നിങ്ങനെ വിവിധ വസ്തുക്കളുള്ള ഒരു തെരുവിന്റെ ചിത്രം നിങ്ങളുടെ കൈവശമുണ്ടെന്ന് കരുതുക. നിങ്ങൾ അവിടെ ചിത്ര വർഗ്ഗീകരണം ഉപയോഗിക്കുകയാണെങ്കിൽ, അത് ചിത്രത്തെ ഒരു "തെരുവ് രംഗം" അല്ലെങ്കിൽ സമാനമായ എന്തെങ്കിലും ആയി ലേബൽ ചെയ്യും.

എന്നിരുന്നാലും, വസ്തുക്കൾ കണ്ടെത്തൽ ഒരു പടി കൂടി മുന്നോട്ട് പോയി ഓരോ കാറിനും, കാൽനടയാത്രക്കാരനും, ഗതാഗത ചിഹ്നത്തിനും ചുറ്റും ബൗണ്ടിംഗ് ബോക്സുകൾ വരയ്ക്കും, അടിസ്ഥാനപരമായി ഓരോ വസ്തുവിനെയും ഒറ്റപ്പെടുത്തുകയും അർത്ഥവത്തായ വിവരണത്തോടെ ഓരോന്നിനും ലേബൽ ചെയ്യുകയും ചെയ്യും.

പ്രധാന പോയിന്റുകൾ:

• കണ്ടെത്തിയ ഒബ്‌ജക്‌റ്റുകൾക്ക് ചുറ്റും ബൗണ്ടിംഗ് ബോക്‌സുകൾ വരയ്‌ക്കുകയും അവയ്‌ക്ക് ഒരു ക്ലാസ് ലേബൽ നൽകുകയും ചെയ്യുന്നു.
• ചിത്രത്തിൽ ഏതൊക്കെ വസ്തുക്കൾ ഉണ്ടെന്നും അവ എവിടെയാണെന്നും ഇത് നിങ്ങളോട് പറയുന്നു.
• ഒബ്‌ജക്റ്റ് കണ്ടെത്തലിൻ്റെ ചില ജനപ്രിയ ഉദാഹരണങ്ങളിൽ R-CNN, ഫാസ്റ്റ് R-CNN, YOLO (നിങ്ങൾ ഒരിക്കൽ മാത്രം നോക്കൂ), SSD (സിംഗിൾ ഷോട്ട് ഡിറ്റക്ടർ) എന്നിവ ഉൾപ്പെടുന്നു.

സെഗ്മെന്റേഷൻ

ഇമേജ് സെഗ്‌മെന്റേഷൻ എന്നത് ഒരു ഇമേജിനെ ഒന്നിലധികം സെഗ്‌മെന്റുകളായോ പിക്‌സലുകളുടെ സെറ്റുകളായോ (സൂപ്പർ പിക്സലുകൾ എന്നും അറിയപ്പെടുന്നു) വിഭജിക്കുന്ന പ്രക്രിയയാണ്, അതുവഴി യഥാർത്ഥ ചിത്രത്തേക്കാൾ അർത്ഥവത്തായതും വിശകലനം ചെയ്യാൻ എളുപ്പമുള്ളതുമായ എന്തെങ്കിലും നിങ്ങൾക്ക് നേടാൻ കഴിയും.

3 പ്രധാന തരം ഇമേജ് സെഗ്മെൻ്റേഷൻ ഉണ്ട്, ഓരോന്നും വ്യത്യസ്തമായ ഉപയോഗത്തിന് വേണ്ടിയുള്ളതാണ്.

1. സെമാന്റിക് സെഗ്മെന്റേഷൻ

   കമ്പ്യൂട്ടർ ദർശനത്തിലെ അടിസ്ഥാനപരമായ ജോലികളിൽ ഒന്നാണിത്, ഒരു ഇമേജിനെ ഒന്നിലധികം സെഗ്‌മെന്റുകളായി വിഭജിക്കുകയും ഓരോ സെഗ്‌മെന്റിനെയും ഒരു സെമാന്റിക് ലേബൽ അല്ലെങ്കിൽ ക്ലാസുമായി ബന്ധിപ്പിക്കുകയും ചെയ്യുക എന്നതാണ് ഇതിന്റെ ലക്ഷ്യം. മുഴുവൻ ഇമേജിനും ഒരൊറ്റ ലേബൽ നൽകുന്ന ഇമേജ് ക്ലാസിഫിക്കേഷനിൽ നിന്ന് വ്യത്യസ്തമായി, സെമാന്റിക് സെഗ്‌മെന്റേഷൻ ചിത്രത്തിലെ ഓരോ പിക്‌സലിനും ഒരു ക്ലാസ് ലേബൽ നൽകാൻ നിങ്ങളെ അനുവദിക്കുന്നു, അതിനാൽ ഇമേജ് ക്ലാസിഫിക്കേഷനുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ നിങ്ങൾക്ക് പരിഷ്കരിച്ച ഔട്ട്‌പുട്ട് ലഭിക്കും.

   സെമാൻ്റിക് സെഗ്മെൻ്റേഷൻ്റെ ലക്ഷ്യം, പിക്സൽ തലത്തിൽ ഓരോ വസ്തുവിൻ്റെയും ഉപരിതലത്തിൻ്റെയും അല്ലെങ്കിൽ പ്രദേശത്തിൻ്റെയും അതിരുകളോ രൂപരേഖകളോ കൃത്യമായി സൃഷ്ടിച്ചുകൊണ്ട് ഒരു ഗ്രാനുലാർ തലത്തിൽ ചിത്രം മനസ്സിലാക്കുക എന്നതാണ്.

   പ്രധാന പോയിന്റുകൾ:

   • ഒരു ക്ലാസിലെ എല്ലാ പിക്സലുകളും ഒരുമിച്ച് ഗ്രൂപ്പുചെയ്തിരിക്കുന്നതിനാൽ, അതിന് ഒരേ ക്ലാസിലെ വ്യത്യസ്ത സംഭവങ്ങൾ തമ്മിൽ വേർതിരിച്ചറിയാൻ കഴിയില്ല.
   • എല്ലാ പിക്സലുകളും ലേബൽ ചെയ്തുകൊണ്ട് നിങ്ങൾക്ക് ഒരു "സമഗ്ര" കാഴ്ച നൽകുന്നു, എന്നാൽ വ്യക്തിഗത വസ്തുക്കളെ വേർതിരിക്കുന്നില്ല.
   • മിക്ക കേസുകളിലും, ഇൻപുട്ടിൻ്റെ അതേ റെസല്യൂഷനുള്ള ഒരു വർഗ്ഗീകരണ മാപ്പ് ഔട്ട്പുട്ട് ചെയ്യുന്ന പൂർണ്ണമായ കൺവ്യൂഷണൽ നെറ്റ്‌വർക്കുകൾ (എഫ്‌സിഎൻ) ഇത് ഉപയോഗിക്കുന്നു.

2. ഉദാഹരണ വിഭജനം

   വസ്തുക്കളെ തിരിച്ചറിയുക മാത്രമല്ല, ഓരോ വസ്തുവിന്റെയും അതിരുകൾ കൃത്യമായി വിഭജിക്കുകയും രൂപരേഖ തയ്യാറാക്കുകയും ചെയ്തുകൊണ്ട് ഇൻസ്റ്റൻസ് സെഗ്മെന്റേഷൻ സെമാന്റിക് സെഗ്മെന്റേഷനേക്കാൾ ഒരു പടി മുന്നോട്ട് പോകുന്നു, ഇത് ഒരു യന്ത്രത്തിന് എളുപ്പത്തിൽ മനസ്സിലാക്കാൻ കഴിയും.

   ഉദാഹരണമായി സെഗ്‌മെൻ്റേഷനിൽ, എല്ലാ ഒബ്‌ജക്‌റ്റും കണ്ടെത്തുമ്പോൾ, അൽഗോരിതം ഒരു ബൗണ്ടിംഗ് ബോക്‌സ്, ഒരു ക്ലാസ് ലേബൽ (ഉദാ, വ്യക്തി, കാർ, നായ), ആ നിർദ്ദിഷ്ട ഒബ്‌ജക്റ്റിൻ്റെ കൃത്യമായ വലുപ്പവും രൂപവും കാണിക്കുന്ന ഒരു പിക്‌സൽ തിരിച്ചുള്ള മാസ്‌ക് എന്നിവ നൽകുന്നു.

   സെമാന്റിക് സെഗ്മെന്റേഷനുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ഇത് കൂടുതൽ സങ്കീർണ്ണമാണ്, ഇവിടെ ഒരേ തരത്തിലുള്ള വ്യത്യസ്ത വസ്തുക്കളെ വേർതിരിക്കാതെ ഓരോ പിക്സലിനെയും ഒരു വിഭാഗം ഉപയോഗിച്ച് ലേബൽ ചെയ്യുക എന്നതാണ് ലക്ഷ്യം.

   പ്രധാന പോയിന്റുകൾ:

   • ഓരോന്നിനും തനതായ ലേബൽ നൽകി വ്യക്തിഗത ഒബ്ജക്റ്റുകളെ തിരിച്ചറിയുകയും വേർതിരിക്കുകയും ചെയ്യുന്നു.
   • ആളുകൾ, മൃഗങ്ങൾ, വാഹനങ്ങൾ തുടങ്ങിയ വ്യക്തമായ ആകൃതികളുള്ള എണ്ണാവുന്ന വസ്തുക്കളിലാണ് ഇത് കൂടുതൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നത്.
   • ഓരോ വിഭാഗത്തിനും ഒരു മാസ്‌ക് ഉപയോഗിക്കുന്നതിനുപകരം ഇത് ഓരോ ഒബ്‌ജക്റ്റിനും പ്രത്യേക മാസ്‌ക് ഉപയോഗിക്കുന്നു.
   • മാസ്ക് R-CNN പോലെയുള്ള ഒബ്‌ജക്‌റ്റ് ഡിറ്റക്ഷൻ മോഡലുകൾ ഒരു അധിക സെഗ്‌മെൻ്റേഷൻ ബ്രാഞ്ചിലൂടെ വിപുലീകരിക്കാനാണ് കൂടുതലും ഉപയോഗിക്കുന്നത്.

3. പനോപ്റ്റിക് സെഗ്മെൻ്റേഷൻ

   പനോപ്റ്റിക് സെഗ്മെൻ്റേഷൻ സെമാൻ്റിക് സെഗ്മെൻ്റേഷൻ്റെയും ഇൻസ്റ്റൻസ് സെഗ്മെൻ്റേഷൻ്റെയും കഴിവുകൾ സംയോജിപ്പിക്കുന്നു. പനോപ്‌റ്റിക് സെഗ്‌മെൻ്റേഷൻ ഉപയോഗിക്കുന്നതിൻ്റെ ഏറ്റവും നല്ല ഭാഗം ഒരു ചിത്രത്തിലെ ഓരോ പിക്‌സലിനും ഒരു സെമാൻ്റിക് ലേബലും ഇൻസ്‌റ്റൻസ് ഐഡിയും നൽകുന്നു, ഇത് നിങ്ങൾക്ക് ഒറ്റയടിക്ക് മുഴുവൻ സീനിൻ്റെയും പൂർണ്ണമായ വിശകലനം നൽകുന്നു.

   പനോപ്റ്റിക് സെഗ്‌മെന്റേഷന്റെ ഔട്ട്‌പുട്ടിനെ സെഗ്‌മെന്റേഷൻ മാപ്പ് എന്ന് വിളിക്കുന്നു, അവിടെ ഓരോ പിക്‌സലും ഒരു സെമാന്റിക് ക്ലാസും ഒരു ഇൻസ്റ്റൻസ് ഐഡിയും (പിക്‌സൽ ഒരു ഒബ്‌ജക്റ്റ് ഇൻസ്റ്റൻസിന്റേതാണെങ്കിൽ) അല്ലെങ്കിൽ ശൂന്യത (പിക്‌സൽ ഏതെങ്കിലും ഇൻസ്റ്റൻസിന്റേതല്ലെങ്കിൽ) ഉപയോഗിച്ച് ലേബൽ ചെയ്തിരിക്കുന്നു.

   എന്നാൽ ചില വെല്ലുവിളികളും ഉണ്ട്. രണ്ട് ജോലികളും ഒരേസമയം നിർവഹിക്കാനും സെമാന്റിക്, ഇൻസ്റ്റൻസ് പ്രവചനങ്ങൾ തമ്മിലുള്ള സാധ്യതയുള്ള വൈരുദ്ധ്യങ്ങൾ പരിഹരിക്കാനും മോഡലിന് ഇത് ആവശ്യമാണ്, ഇതിന് കൂടുതൽ സിസ്റ്റം റിസോഴ്‌സുകൾ ആവശ്യമാണ്, കൂടാതെ സെമാന്റിക്‌സും ഇൻസ്റ്റൻസുകളും ആവശ്യമുള്ള സമയ പരിധികളിൽ മാത്രമേ ഇത് ഉപയോഗിക്കൂ.

   പ്രധാന പോയിന്റുകൾ:

   • ഇത് ഓരോ പിക്സലിനും ഒരു സെമാൻ്റിക് ലേബലും ഇൻസ്റ്റൻസ് ഐഡിയും നൽകുന്നു.
   • സെമാൻ്റിക് സന്ദർഭത്തിൻ്റെയും ഉദാഹരണ-തല കണ്ടെത്തലിൻ്റെയും മിശ്രിതം.
   • പൊതുവായി, പങ്കുവയ്ക്കപ്പെട്ട നട്ടെല്ലുള്ള പ്രത്യേക സെമാൻ്റിക്, ഇൻസ്റ്റൻസ് സെഗ്മെൻ്റേഷൻ മോഡലുകളുടെ ഉപയോഗം ഇതിൽ ഉൾപ്പെടുന്നു.

   സെമാന്റിക് സെഗ്മെന്റേഷൻ, ഇൻസ്റ്റൻസ് സെഗ്മെന്റേഷൻ, പനോപ്റ്റിക് സെഗ്മെന്റേഷൻ എന്നിവ തമ്മിലുള്ള വ്യത്യാസം സൂചിപ്പിക്കുന്ന ഒരു ലളിതമായ ചിത്രം ഇതാ: