Post by @recidivination

Больша́я языкова́я моде́ль (БЯМ; англ. large language model, LLM) — языковая модель, основанная на нейронной сети с множеством параметров (миллиарды весовых коэффициентов и более[a]), которая проходит предварительное обучение на обширных массивах неразмеченного текста методами самообучения (обучения c псевдометками, созданными самой моделью, а не внешним учителем[b]), а затем подвергается тонкой настройке (fine-tuning) с применением обучения с подкреплением на основе отзывов людей (RLHF) для согласования результатов генерации с человеческими предпочтениями (alignment problem) и инструкциями. Большие языковые модели возникли и стали популярны после 2017 года[c], во время очередного[d] бума искусственного интеллекта, поскольку именно эти модели начали эффективно справляться с широким спектром современных интеллектуальных задач. Это сместило фокус исследований обработки естественного языка с предыдущей парадигмы обучения специализированных контролируемых моделей для конкретных задач[1]. В то же время не следует путать понятия ИИ и больших языковых моделей: если ИИ — это область компьютерных наук, охватывающая решение широкого круга интеллектуальных задач, то БЯМ/LLM — это лишь один (хоть и самый популярный в середине 2020-х) из многих инструментов, который, даже развившись в мультимодальные системы с поддержкой изображений, видео и аудио (так называемые MLLM), остаётся, по сути, специализированным вероятностным алгоритмом предсказания последовательностей, а не универсальным интеллектом (AGI) | #LLM #ai #chatgpt #claude #fypシ