Open AI взломала скрытую математику, которая спасает тексты от превращения в бессмыслицу

Почему ответы нейросетей иногда похожи на бессмыслицу

Вы когда-нибудь получали от чат-бота ответ, в котором каждое слово вроде бы знакомо, но вместе они не складываются в смысл? Причина часто не в том, что модель «глупая», а в том, как она хранит и сравнивает смыслы. Слова и фразы превращаются в векторы — длинные цепочки чисел в многомерном пространстве. Чем лучше эти точки расположены, тем стабильнее работает языковая модель. Как сообщает Scientific American, Open AI удалось продвинуться в математической задаче, которая напрямую связана с этой хрупкой стабильностью.

Упаковка сфер: скучно только на первый взгляд

Представьте, что нужно плотно уложить апельсины в ящик. В трёх измерениях это понятная задача. А теперь добавьте не три, а сотни измерений. Именно там живут векторы, которые используют нейросети. Математики называют это упаковкой сфер в высоких размерностях. Звучит абстрактно, но от такой упаковки зависят коды, исправляющие ошибки, сжатие данных и даже помехоустойчивая связь.

Долгие 48 лет существовал барьер, который мешал улучшить некоторые из таких конструкций. Его не могли обойти, хотя пытались многие. Open AI, по данным Scientific American, нашла подход, который этот барьер ломает. Речь не о том, что все старые учебники устарели за один день, но направление явно сдвинулось.

При чём тут ваши сообщения в чате

Когда вы пишете запрос, модель переводит его в вектор. Затем ищет похожие векторы среди миллионов других. Если пространство организовано неудачно, близкими могут оказаться фразы с совсем разным смыслом. Тогда ответ «плывёт»: модель путает контекст, теряет нить и выдаёт что-то вроде словесного салата. Чем эффективнее упакованы точки, тем меньше таких ошибок.

Кстати, это не только про чат-ботов. Те же принципы работают в мобильной связи, накопителях данных и спутниковых каналах. Везде, где сигнал может испортиться, нужны коды, которые восстановят исходное сообщение. Получается, что абстрактная математика про сферы в сотнях измерений в итоге влияет на качество ваших текстов, звонков и фотографий.

Что это меняет для ИИ

• Языковые модели могут стать устойчивее к смысловым ошибкам и «галлюцинациям».
• Появится шанс сжимать данные плотнее без потери качества.
• Связь и хранение информации могут стать надёжнее.
• У исследователей появится новый инструмент для задач, которые десятилетиями стояли на месте.

А вы задумывались, что за красивыми ответами нейросетей стоит такая странная геометрия? Согласны, что прорывы в чистой математике рано или поздно добираются до нашего смартфона?

Куда двигаться дальше

Пока рано говорить, что проблема решена окончательно. Научная работа — это не спринт, а длинная эстафета. Но сам факт, что 48-летний барьер удалось сдвинуть, уже важен. Возможно, через несколько лет мы будем вспоминать эту новость как один из тихих шагов, после которых ИИ стал заметно надёжнее. А может, открытие пригодится совсем в другой области — например, в квантовых вычислениях или биологии. Как вы думаете, где ещё пригодится упаковка сфер в высоких размерностях?

А что вы думаете по этому поводу? Поделитесь своим мнением в комментариях!

Если статья оказалась полезной, поддержите автора донатом.

Чтобы не пропустить новые публикации, подписывайтесь на канал.

Материал подготовлен на основе информации из открытых источников. Все права на исходные материалы принадлежат их авторам. Если вы являетесь правообладателем и возражаете против использования, свяжитесь с нами по адресу info@11st.press.