Google DeepMind представила SL2T: перевод жестового языка в текст теперь работает на смартфонах Pixel 11

Google DeepMind выпустила модель SL2T, которая переводит американский жестовый язык в текст. Нейросеть уже встроена в клавиатуру Gboard и приложение Live Transcribe на смартфонах Pixel 11. Пользователь направляет камеру на себя, показывает жесты, и система преобразует их в английский текст. Так можно набирать сообщения, искать информацию или общаться с ассистентом Gemini.

Технология решает конкретную задачу: люди с нарушениями слуха получают быстрый способ коммуникации без клавиатуры. Видео обрабатывается локально на устройстве и не покидает его. Это повышает приватность и снижает зависимость от интернет-соединения.

Что такое SL2T и зачем она нужна?

SL2T - это модель машинного обучения, которая распознаёт жесты и превращает их в письменную речь. Она ориентирована на американский жестовый язык ASL, но обучалась на данных более чем по 50 жестовым языкам. Всего в обучающей выборке 100 тысяч часов видеозаписей.

Для человека, который использует жестовый язык как основной, набор текста на обычной клавиатуре бывает медленным. SL2T убирает этот барьер: достаточно показать жест перед камерой, и на экране появится слово или фраза. Это полезно в переписке, при поиске в интернете и при общении с голосовыми ассистентами.

Как SL2T переводит жесты в текст?

Модель анализирует не картинку целиком, а координаты 130 ключевых точек лица, тела и рук. Такой подход позволяет учитывать мимику и движения корпуса. В жестовом языке эти элементы несут смысловую нагрузку: поднятые брови, наклон головы или положение плеч могут менять значение фразы.

Работа с точками вместо полного изображения делает модель легче и быстрее. Ей не нужно обрабатывать пиксели фона, одежду или освещение. Это важно для смартфона, где вычислительные ресурсы ограничены.

Где и как использовать SL2T?

SL2T доступна на смартфонах Pixel 11 в двух приложениях: Gboard и Live Transcribe. Оба сценария завязаны на камеру устройства.

В Gboard пользователь открывает клавиатуру в любом поле ввода, включает режим жестов и показывает их перед фронтальной камерой. Текст появляется сразу в поле сообщения, поисковой строке или заметке.

В Live Transcribe модель переводит жестовую речь в текст в реальном времени. Это подходит для живого диалога: человек показывает жесты, а собеседник читает расшифровку на экране.

Интеграция с Gboard и Live Transcribe

Gboard превращает жесты в способ ввода текста. Можно ответить в мессенджере, заполнить форму или написать письмо, не прикасаясь к клавиатуре.

Live Transcribe работает как мост между жестовой и звучащей речью. Приложение отображает текст крупно, чтобы его было удобно читать с расстояния. Это помогает в магазине, на приёме у врача или в разговоре с коллегой, который не знает жестового языка.

Оба приложения поддерживают общение с ассистентом Gemini. Пользователь показывает жест, SL2T переводит его в текст, а Gemini обрабатывает запрос и выдаёт ответ.

Насколько точна SL2T?

В тестах FLEURS-ASL модель набрала 70–74 балла. Это средний результат: базовые фразы распознаются уверенно, но сложные конструкции вызывают трудности.

На практике точность зависит от нескольких факторов. Хорошее освещение, контрастный фон и чёткие движения улучшают распознавание. Быстрые жесты, нестандартная мимика или несколько человек в кадре снижают качество.

Модель обучена на большом объёме данных, но жестовый язык вариативен. Один и тот же смысл можно показать по-разному в зависимости от региона, возраста или личного стиля говорящего.

Ограничения и возможные ошибки

SL2T не поддерживает жесты длиннее 60 секунд. Если фраза требует более долгого показа, модель может оборвать распознавание или выдать неполный текст.

Региональные варианты жестовых языков пока не различаются. Это значит, что носитель диалекта ASL из одного штата может быть понят хуже, чем носитель стандартного варианта.

Модель иногда ошибается или галлюцинирует. Чаще всего проблемы возникают с числами и сложными грамматическими конструкциями. Например, жест, обозначающий количество, может быть переведён неверно, если движение было смазанным.

Приватность: ваши данные остаются на устройстве

Видео обрабатывается локально на смартфоне и не отправляется на серверы Google. Это ключевое отличие от облачных решений, где запись уходит на удалённый сервер для анализа.

Для пользователей с нарушениями слуха приватность особенно важна. Жестовый язык часто используется в личных разговорах, медицинских консультациях и других чувствительных ситуациях. Локальная обработка снижает риск утечки данных.

Отсутствие зависимости от интернета - ещё один плюс. SL2T работает даже там, где связь нестабильна или отсутствует.

Что дальше? Планы Google по развитию SL2T

Google планирует расширить поддержку языков и устройств. Сейчас модель работает только на Pixel 11 и ориентирована на ASL. В будущем список может пополниться другими жестовыми языками и более широким парком смартфонов.

Разработчики также работают над увеличением длительности распознавания и улучшением точности для чисел и сложных грамматических форм. Это типичный путь для новых моделей: сначала базовый запуск, затем итеративные улучшения на основе обратной связи.

Похожий подход Google уже применяла в других продуктах. Например, в Gemini Intelligence компания сначала запустила базовые сценарии автоматизации, а затем расширила их на 40+ приложений.

Практическая польза для людей с нарушениями слуха

SL2T закрывает несколько повседневных задач. Набор сообщений без клавиатуры экономит время и силы. Поиск информации становится доступнее: не нужно печатать запрос, достаточно показать жест.

Общение с голосовым ассистентом Gemini открывает новые сценарии. Пользователь может спросить прогноз погоды, поставить напоминание или найти маршрут, используя жесты вместо голоса или текста.

В живом диалоге Live Transcribe показывает текст собеседнику, который не знает жестового языка. Это снижает барьер в магазине, банке, на почте или в транспорте. Человек показывает жест, а продавец или консультант читает перевод на экране.

SL2T в контексте других технологий перевода жестового языка

Проекты по переводу жестового языка существуют давно, но большинство из них остаются исследовательскими. SL2T выделяется тем, что встроена в массовые продукты Google: Gboard установлен на миллионах устройств, Live Transcribe предустановлен на Pixel.

Локальная обработка - ещё одно отличие. Многие аналоги требуют подключения к облаку, что замедляет ответ и создаёт риски для приватности. SL2T работает на устройстве, что делает её быстрее и безопаснее.

Технология не идеальна. Точность 70–74 балла означает, что часть фраз будет переведена с ошибками. Но для первого массового запуска это рабочий результат, который задаёт планку для конкурентов.

Если вам интересно, как другие модели справляются с распознаванием речи, прочитайте разбор GPT Transcribe от OpenAI. Там мы сравнили точность, скорость и цены с конкурентами.

Есть вопрос или заметили неточность? Напишите нам - мы открыты к диалогу и исправлениям.