Компания Google стала на шаг ближе к ИИ

Более семи лет назад компания Google совершила прорыв, разработав архитектуру нейросетей «трансформер», которая является основой искусственного интеллекта (ИИ), включая OpenAI ChatGPT. Теперь компания намерена показать миру новую архитектуру Titans — это новый шаг на пути к ИИ, способному мыслить как человек.

Архитектура Transformer лишена долговременной памяти, что ограничивает её способность сохранять и использовать информацию в течение длительных периодов времени, хотя это является неотъемлемой чертой человеческого мышления. Titans предусматривает возможность нейронной долговременной памяти, кратковременной памяти и системы обучения на основе «сюрпризов» — всем этим человек пользуется, чтобы запоминать неожиданные или очень важные события.

У Transformer предусмотрен своего рода «прожектор» — механизм, позволяющий ИИ выделять наиболее важные слова в предложении и фрагменты набора данных в любой момент времени. Он есть и в Titans, но работает он совместно с огромной библиотекой — модулем долговременной памяти, который отвечает за хранение важной информации.

Фокус внимания на актуальных деталях и возможность обратиться к сохранённым знаниям позволяют Titans обрабатывать огромные объёмы информации, не упуская важных подробностей. Обладая интеллектуальной «метрикой сюрпризов», помогающей расставлять приоритеты на ключевых фрагментах данных, Titans превосходит существующие модели ИИ в различных задачах: в моделировании языка, составлении прогнозов и моделировании ДНК. Новая архитектура, таким образом, приближает ИИ к механизмам человеческого познания.

Способность ИИ нового образца сохранять обширный контекст поможет ему произвести революцию в исследованиях, например, отслеживая научную литературу; или обнаруживать аномалии в огромных наборах данных.

Новая архитектура отчасти повторяет человеческие когнитивные процессы — помимо краткосрочной и долговременной памяти, это способность «забывать» менее важную информацию и более точно расставлять приоритеты. Современные системы на архитектуре Transformer способны обрабатывать запросы с контекстом до 2 млн токенов, тогда как Titans остаются эффективными и выше этого предела, сохраняя высокую точность при огромных объёмах входных данных.

Механизм «метрики сюрпризов» позволяет системе определить, какую информацию следует записать в долговременную память — приоритет отдаётся элементам, которые нарушают ожидания. Это не только отражает когнитивные механизмы человека, но и является новым решением для управления ограниченными ресурсами памяти в области ИИ. Однако пока Titans находится на ранней стадии, и при её развёртывании в практических приложениях не исключается возникновение сложностей, сообщает 3dnews.ru.

Как сообщалось ранее, разработчики генеративных нейросетей Google и OpenAI считают, что в будущем пользователи будут делегировать обработку интернет-запросов и выполнение разных задач чат-ботам или ИИ-агентам.