നിര്വചനം
പരിശീലന പ്രക്രിയയിൽ മാനുഷിക വിധിന്യായങ്ങളെ ഉൾപ്പെടുത്തിക്കൊണ്ട്, AI മോഡലുകളെ മാനുഷിക മൂല്യങ്ങളുമായി വിന്യസിക്കുന്നതിനുള്ള ഒരു രീതിയാണ് റൈൻഫോഴ്സ്മെന്റ് ലേണിംഗ് ഫ്രം ഹ്യൂമൻ ഫീഡ്ബാക്ക് (RLHF). വലിയ ഭാഷാ മോഡലുകളെ മികച്ചതാക്കാൻ ഇത് പലപ്പോഴും ഉപയോഗിക്കുന്നു.
ഉദ്ദേശ്യം
AI ഔട്ട്പുട്ടുകൾ സുരക്ഷിതവും കൂടുതൽ ഉപയോഗപ്രദവും മനുഷ്യന്റെ മുൻഗണനകളുമായി യോജിപ്പിച്ചതുമാക്കുക എന്നതാണ് ഇതിന്റെ ഉദ്ദേശ്യം. ദോഷകരവും പക്ഷപാതപരവും അല്ലെങ്കിൽ അപ്രസക്തവുമായ പ്രതികരണങ്ങൾ കുറച്ചുകൊണ്ട് RLHF സംഭാഷണ സംവിധാനങ്ങൾ മെച്ചപ്പെടുത്തുന്നു.
പ്രാധാന്യം
- AI പരിശീലനത്തിൽ മനുഷ്യ മേൽനോട്ടം നൽകുന്നു.
- AI സിസ്റ്റങ്ങളുടെ വിശ്വാസ്യത മെച്ചപ്പെടുത്തുന്നു.
- മനുഷ്യ വ്യാഖ്യാന ആവശ്യങ്ങൾ കാരണം അധ്വാനം കൂടുതലാണ്.
- മുൻഗണനാ മോഡലിംഗ്, അലൈൻമെന്റ് ഗവേഷണം എന്നിവയുമായി ബന്ധപ്പെട്ടത്.
ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നു
- മോഡൽ ഔട്ട്പുട്ടുകൾ താരതമ്യം ചെയ്ത് മനുഷ്യ ഫീഡ്ബാക്ക് ശേഖരിക്കുക.
- മനുഷ്യരുടെ മുൻഗണനകളെ അടിസ്ഥാനമാക്കി ഒരു റിവാർഡ് മോഡൽ പരിശീലിപ്പിക്കുക.
- അടിസ്ഥാന മാതൃകയെ കൂടുതൽ മികച്ചതാക്കാൻ റൈൻഫോഴ്സ്മെന്റ് ലേണിംഗ് ഉപയോഗിക്കുക.
- അലൈൻമെന്റ് ലക്ഷ്യങ്ങൾക്കെതിരായ പ്രകടനം വിലയിരുത്തുക.
- അധിക ഫീഡ്ബാക്ക് ഉപയോഗിച്ച് ആവർത്തിക്കുക.
ഉദാഹരണങ്ങൾ (യഥാർത്ഥ ലോകം)
- OpenAI ChatGPT: സുരക്ഷിതമായ പ്രതികരണങ്ങൾക്കായി RLHF ഉപയോഗിച്ച് ഫൈൻ-ട്യൂൺ ചെയ്തിരിക്കുന്നു.
- ആന്ത്രോപിക്സിന്റെ കോൺസ്റ്റിറ്റ്യൂഷണൽ AI: നേരിട്ടുള്ള ഫീഡ്ബാക്കിന് പകരം തത്വങ്ങളാൽ നയിക്കപ്പെടുന്നു.
- InstructGPT: RLHF പ്രദർശിപ്പിക്കുന്ന ആദ്യകാല OpenAI മോഡൽ.
റഫറൻസുകൾ / കൂടുതൽ വായന
- ക്രിസ്റ്റ്യാനോ തുടങ്ങിയവർ. “മനുഷ്യ മുൻഗണനകളിൽ നിന്നുള്ള ആഴത്തിലുള്ള ശക്തിപ്പെടുത്തൽ പഠനം.” ന്യൂറിഐപിഎസ് 2017.
- OpenAI ഇൻസ്ട്രക്റ്റ്GPT പേപ്പർ.
- NIST AI റിസ്ക് മാനേജ്മെന്റ് ഫ്രെയിംവർക്ക്.
- ഹ്യൂമൻ ഫീഡ്ബാക്ക് (RLHF) ഉപയോഗിച്ചുള്ള റൈൻഫോഴ്സ്മെൻ്റ് ലേണിംഗ് എന്താണ്?
