Большие языковые модели (LLM) могут создавать естественный язык для различных приложений, таких как голосовые ассистенты и чат-боты. Однако они нуждаются в большом количестве памяти для своей работы, что является вызовом для мобильных устройств, имеющих ограничения на оперативную память. Apple нашла решение этой проблемы, используя флэш-память, обычно используемую для хранения приложений и фото, для эффективного запуска LLM.
В своей новой научной работе исследователи ИИ из Apple рассказывают, как они создали новую технологию, хранящую данные для LLM на флэш-памяти. Они также разработали два способа, которые уменьшают количество передаваемых данных и увеличивают скорость чтения данных с флэш-памяти.
По словам исследователей, их технология позволяет LLM использовать вдвое больше памяти, чем у iPhone. Они также заявляют, что достигли увеличения скорости в 4-5 раз на обычных процессорах (CPU) и в 20-25 раз на графических процессорах (GPU). Они утверждают, что это важный шаг для развертывания передовых LLM в условиях ограниченных ресурсов, делая их более доступными и практичными.
Новая технология откроет новые перспективы для будущих iPhone, таких как улучшенные функции Siri, реальный перевод языка и сложные функции, основанные на ИИ, в области фотографии и дополненной реальности. Это также позволит запускать на iPhone сложные ассистенты и чат-боты с ИИ, над которыми, по данным источников, Apple уже работает.
Apple намерена интегрировать свою работу над генеративным ИИ в свой голосовой ассистент Siri. В феврале 2023 года Apple провела конференцию по ИИ, где рассказала своим сотрудникам о работе над большой языковой моделью. Согласно сообщению Bloomberg, Apple хочет создать более разумную версию Siri, которая будет тесно связана с ИИ.
Кроме того, по слухам, Apple планирует добавить ИИ в большинство своих собственных программ и создать что-то вроде AppleGPT, интегрируя Siri в сообщения.
Источник: MacRumors
