Pod?a autorov štúdie „One ruler to measure them all: Benchmarking multilingual long-context language models“ (Jedno kritérium pre všetky jazyky: Meranie viacjazy?ných modelov s dlhým kontextom) po?ština dosiahla priemernú úspešnos? 88 percent, zatia? ?o angli?tina necelých 84 percent. Modely AI pritom zvy?ajne trénujú na najvä?šom množstve dát práve v angli?tine a ?ínštine, no ?ínsky jazyk sa v rebrí?ku umiestnil s výsledkom 62 percent až na štvrtom mieste od konca.
Skúmanie prebiehalo na siedmich typoch úloh, rozdelených do kategórií vyh?adávania a agregácie, s kontextami od 8000 do 128.000 tokenov. Výskumníci zistili, že ?ím je kontext dlhší, tým sa viac prehlbuje rozdiel vo výkonnosti medzi tzv. vysokozdrojovými jazykmi, ako sú európske, a nízkozdrojovými, ako swahil?ina ?i soth?ina. Rozdiel sa zvýšil z 11 na 34 percent pri najdlhších textoch.
Napriek relatívne obmedzenému množstvu dát, na ktorých sa ve?ké jazykové modely u?ia po po?sky, dosahujú v tomto jazyku vyššiu presnos? odpovedí, menej chýb a lepšie výsledky pri analýze rozsiahlych dokumentov. Autori štúdie uviedli, že po?ština sa ukázala ako najvhodnejší jazyk na tzv. promptovanie – zadávanie dlhých a komplexných otázok AI.
(spravodajca TASR Slavomír Gregorík)
Zdroj feed teraz.sk
