Георги Шопов
Докторантът Георги Шопов от Института по информационни и комуникационни технологии на Българската академия на науките (ИИКТ–БАН) взе участие във водещата световна конференция в областта на обработката на естествен език – “Empirical Methods in Natural Language Processing”, която се проведе в периода 12–16 ноември в Маями, САЩ. На конференцията Георги Шопов представи новите научни резултати в областта на езиковото моделиране, постигнати в ИИКТ–БАН и формиращи основната част от дисертационния му труд. За участие в главната конференция бяха подбрани 1271 статии измежду 6105 изпратени. Статията на Георги Шопов в съавторство с доцент Стефан Герджиков от ИИКТ-БАН и ФМИ на СУ “Св. Климент Охридски” е измежду 168-те удостоени с устен доклад.
През последните години езиковите модели се утвърдиха като основен подход в Изкуствения интелект. Те демонстрираха забележителни способности в решаване на задачи, свързани с обработката на естествен език, програмирането, моделирането на протеини и генерирането на базови езикови и математически разсъждения. Масово използваните съвременните езикови модели (ChatGPT, Llama, Gemini, Claude), обаче, са еднопосочни – те обработват и генерират текст строго от ляво надясно. Фиксираната посока на работа на този тип езикови модели силно ограничава тяхната изразителност.
В своята разработка учените от ИИКТ–БАН представят нов теоретичен поглед върху езиковото моделиране, базиран на добре известни формализми от теорията на автоматите. Благодарение на тази формална връзка, те въвеждат нов клас двупосочни езикови модели, които са строго по-изразителни от еднопосочните и позволяват решаването на значително по-сложни задачи. Друго преимущество на двупосочните езикови модели е тяхната по-високата ефективност в сравнение с еднопосочните. С други думи двупосочните езикови модели позволяват генерацията на текст да се извършва по-бързо, на компютърни устройства с по-ниска производителност и при по-ниска консумация на електроенергия, което значително увеличава тяхната приложимост.
В бъдеще учените от ИИКТ–БАН планират да развиват двупосочните езикови модели с цел да се позволи ефективен контрол на генерирания текст, да се определя дълбочината на извода и да се избягват така наречените халюцинации на езиковите модели.
Линк към публикацията:
https://aclanthology.org/2024.emnlp-main.328.pdf
[/fusion_text][/fusion_builder_column][/fusion_builder_row][/fusion_builder_container]
