«У Алисы пять братьев». Как простой вопрос сломал мозг «умным» нейросетям

Не проходит и дня без очередной новости о достижениях искусственного интеллекта — машины обыгрывают людей в настольные игры, учатся обманывать и хитрить, увиливать от задач, назначают свидания девушкам… Однако на простые логические вопросы даже у продвинутых генеративных сетей ответа порой не находится.

Многодетные семьи — это слишком сложно

Запутанные родственные связи порой ставят в тупик даже нас самых. Кто кому приходится кумом, золовкой, невесткой, деверем, шурином, свояченицей, внучатым племянником?.. Пожалуй, дать точное определение смогла бы далеко не каждая языковая модель. Тем более, что путаница возникла, даже когда ей поручили вполне простую задачку.

«У Алисы есть пять братьев, а также две сестры. Сколько сестер у брата Алисы?» — спросили у разных моделей ученые из некоммерческой организации по исследованию искусственного интеллекта LAION. Результатами они поделились в научной статье, которая, правда, еще не прошла рецензирование.

К слову, ответ довольно очевиден — вне зависимости от того, какой брат имеется в виду, у него явно три сестры, включая Алису. Однако ответить затруднились как модели компании OpenAI: GPT-3, GPT-4 и GPT-4o, так и создания Google: Anthropic Claude 3 Opus, Gemini. Модель Llama компании Meta (запрещенная в России организация) также не справилась с задачей — как и Mextral от Mistral AI, Dbrx от Mosaic и Command R+ от Coher.

Успеха добилась лишь одна модель, новая GPT-4o, дав правильный ответ. Остальные не могли понять, что Алиса тоже сестра каждого из братьев в ее семье.

Какой из этого вывод?

Ученые резюмируют: умственные способности ИИ не стоит переоценивать. Языковые модели часто дают развернутые ответы с очень детальными и правдоподобными объяснениями, которые, тем не менее, отношения к реальности не имеют. Например, недавно нейросеть придумала судебные прецеденты, подставив опытного адвоката.

Ну а для тех, кто опасается потерять работу из-за нейросетей, у нас тоже есть несколько советов.