Denne udgivelse følger Metas præsentation af værktøjet i en artikel fra august, der beskrev, hvordan det bygger på den samme 'chain of thought', som OpenAI's nyligt udgivne modeller bruger til at træffe pålidelige vurderinger af modellernes svar.
Teknikken involverer at bryde komplekse problemer ned i mindre logiske trin, hvilket ser ud til at forbedre præcisionen af svar på udfordrende problemer inden for emner som videnskab, programmering og matematik.
Metas forskere brugte udelukkende AI-genereret data til at træne evalueringsmodellen, hvilket fjernede menneskelig input i den fase. Evnen til at bruge AI til pålideligt at evaluere andre AI-modeller giver et glimt af en mulig vej mod at skabe autonome AI-agenter, der kan lære af deres egne fejl, fortalte to af Metas forskere bag projektet til Reuters.
Mange inden for AI-feltet forestiller sig sådanne agenter som digitale assistenter, der er intelligente nok til at udføre en lang række opgaver uden menneskelig indgriben.
Selvlærende modeller kunne eliminere behovet for den ofte dyre og ineffektive proces, der i dag bruges og kaldes Reinforcement Learning from Human Feedback, hvor der kræves input fra menneskelige annotatorer med specialiseret ekspertise til at mærke data korrekt og verificere, at svarene på komplekse matematik- og skriveforespørgsler er korrekte.
"Vi håber, at efterhånden som AI bliver mere og mere overmenneskelig, vil den blive bedre til at kontrollere sit eget arbejde, så den faktisk bliver bedre end det gennemsnitlige menneske," sagde Jason Weston, en af forskerne bag projektet, ifølge Reuters.
"Ideen om at være selvlært og i stand til at selvevaluere er grundlæggende for at opnå denne slags overmenneskelig AI."
Andre virksomheder, herunder Google og Anthropic, har også offentliggjort forskning om konceptet RLAIF, eller Reinforcement Learning from AI Feedback. I modsætning til Meta frigiver disse virksomheder dog typisk ikke deres modeller til offentlig brug.
Andre AI-værktøjer, som Meta frigav i samme ombæring, inkluderede en opdatering til virksomhedens billedgenkendelsesmodel Segment Anything. Det er et værktøj, der fremskynder LLM-svarsgenereringstider, samt datasæt, der kan bruges til at opdage nye uorganiske materialer.
