ახალი OpenAI კვლევა: ბრძოლა ჰალუცინაციებთან ChatGPT-ში

ფოტო - ახალი OpenAI კვლევა: ბრძოლა ჰალუცინაციებთან ChatGPT-ში
OpenAI გეგმავს შეამციროს ChatGPT-ის ლოგიკური შეცდომები, რომლებსაც ხშირად ჰალუცინაციების უწოდებენ. ასეთი ხარვეზები წარმოქმნის არაზუსტ ან სრულიად ფიქტიურ მონაცემებს.
ისინი შეიძლება გამოვლინდნენ სხვადასხვა ფორმით: დამახინჯებული ფაქტები, გამოგონილი ადამიანები, მოვლენები ან მთელი ისტორიები. ChatGPT-ის გამოყენებისას ისინი განსაკუთრებით შესამჩნევია, რადგან ის ხელმისაწვდომია უამრავი ადამიანისთვის, რომლებიც აგენერირებენ უამრავ უნებლიე ჰალუცინაციას. და მიუხედავად იმისა, რომ დეველოპერები ღიად აფრთხილებენ არაზუსტი ინფორმაციის მიწოდების რისკებზე, უმეტესობა ამას ყურადღებას არ აქცევს.

ChatGPT ჰალუცინაციების მაგალითები

1. 2023 წლის აპრილში ChatGPT-მა დაადანაშაულა ცნობილი პროფესორი ჯონათან ტურლი სექსუალურ ძალადობაში, Washington Post-ის არარსებული სტატიის საფუძველზე. ეს მოხდა უმაღლეს სასწავლებლებში სექსუალური შევიწროების შესახებ კვლევის მსვლელობისას და ამ მასალის რედაქტირების მცდელობები წარუმატებელი აღმოჩნდა: ხელოვნურმა ინტელექტმა მიუთითა მიმდინარე სასამართლო პროცესზე.

2. ცნობილმა ადვოკატმა სტივენ შვარცმა გამოიყენა ChatGPT სასამართლოში გამოსვლის მოსამზადებლად (2023 წლის მაისი), მონაცემების შემოწმების გარეშე. შედეგად, სასამართლომ უარყო მოწოდებული მასალები, ვინაიდან შერჩეული საქმეების უმეტესობა ფიქტიური ან არასწორად ჩასწორებული აღმოჩნდა.

3. 2023 წლის ივნისში ChatGPT-მა წაიკითხა სისხლის სამართლის საქმე, რომელიც მოწოდებული იყო ჟურნალისტ ფრედ რელის მიერ და არასწორად დაადანაშაულა ტელეკომპანიის წამყვანი მარკ უოლტერსი ფინანსურ დანაშაულში. თუმცა, მამაკაცმა გადაწყვიტა ესარგებლა რეზონანსული სიტუაციით და OpenAI-ის წინააღმდეგ სარჩელი შეიტანა.

ახლავე უნდა აღინიშნოს, რომ ბევრი ადვოკატი უკიდურესად პესიმისტურად არის განწყობილი ასეთი შემთხვევების მიმართ, რადგან საკმაოდ რთულია ორიგინალური ინფორმაციის წყაროს დადგენა და კომპანიის დანაშაულის დამტკიცება ყველა გაფრთხილების გათვალისწინებით. ამიტომ, იმის ნაცვლად, რომ დაუფიქრებლად ეცადონ ფულის გამომუშავებას ნულიდან, ადამიანებმა უფრო ფრთხილად უნდა გამოიყენონ ახალი ტექნოლოგიები, სანამ OpenAI ეძებს გამოსავალს პრობლემის მასშტაბის შესამცირებლად.

OpenAI-ს კვლევა

კომპანია ChatGPT ჰალუცინაციებს სერიოზულად ეკიდება და იკვლევს სხვადასხვა ვარიანტს, რომელსაც შეუძლია მნიშვნელოვნად გააუმჯობესოს გენერაციის სიზუსტე. ამისათვის დეველოპერებმა ჩაატარეს კვლევა დაჯილდოების ორი მოდელის სწავლებისთვის: პროცესის კონტროლი (ჯილდო გაიცემა თითოეული სწორი ნაბიჯისთვის) და შედეგის კონტროლი (მხოლოდ საბოლოო პასუხისთვის).
პროცესზე ან შედეგებზე ორიენტირებულ ჯილდოს მოდელებს ჩვენ ვაფასებთ ამოცანებით მათემატიკური ტესტების კრებულიდან. ჩვენ ვქმნით მრავალ გადაწყვეტილებას თითოეული პრობლემისთვის და შემდეგ ვირჩევთ იმას, რომელიც მიიღებს ყველაზე მაღალ რეიტინგს თითოეული ჯილდოს მოდელისთვის
© OpenAI ოფიციალური განცხადება
საბოლოო შედეგებმა აჩვენა დამაიმედებელი პერსპექტივები: პროცესის კონტროლმა უზრუნველყო მაღალი სიზუსტე (78.2%), რადგან მოდელი რეალურად სწავლობს  ადამიანის მიერ დამტკიცებულ შუალედურ პასუხებზე. დეველოპერებმა აღნიშნეს მეთოდის ეფექტურობა და შეწყობილობა, მაგრამ ჯერჯერობით მხოლოდ მათემატიკური ამოცანებისთვის. კვლევის გასაუმჯობესებლად, კომპანიამ გამოაქვეყნა მონაცემთა ნაკრები და მოიწვია მოწინავე მომხმარებლები მის შესამოწმებლად.