Microsoft анонсировала обновление Fall Moments для своей операционной системы Windows 11, представляющее набор функций, предназначенных для интеграции возможностей искусственного интеллекта в каждый поддерживаемый персональный компьютер. Обновление основано на двух основных дополнениях: Copilot Voice и Copilot Vision, которые вместе создают более интерактивную среду искусственного интеллекта для пользователей. Первая функция, Copilot Voice, позволяет пользователям взаимодействовать со своим компьютером с помощью голосовых команд и естественного разговора — метод взаимодействия, аналогичный методу других диалоговых инструментов искусственного интеллекта. Вторая основная функция — Copilot Vision, которая позволяет компьютеру воспринимать и интерпретировать окружающую среду через камеру. Copilot Vision также может анализировать контент, отображаемый на экране пользователя, позволяя ему понимать контекст и выполнять действия на основе того, что он «видит». В рамках этого обновления ИИ-помощник можно будет активировать голосом с помощью фразы «Эй, второй пилот». После активации пользователи смогут задавать вопросы, искать информацию или направлять помощника для выполнения определенных задач. Функциональность Copilot Vision позволяет пользователям делиться своим рабочим столом или отдельными приложениями напрямую с ИИ. В свою очередь Copilot может предоставить ценную информацию или ответить на вопросы, связанные с контентом на экране. В обновлении также представлена функция руководства, которую Microsoft называет «Основные моменты». Этот инструмент предназначен для помощи пользователям, которые не знакомы с определенными компьютерными операциями. Указав на область на экране и попросив о помощи, пользователи могут получить от ИИ пошаговые инструкции о том, как выполнить задачу. Microsoft отметила, что эта функция особенно предназначена для пользователей с более низким уровнем знаний технологий. Функциональность Highlights доступна в операционной системе и в отдельных приложениях. В сочетании с этими функциями интерфейс ввода Copilot был переработан и интегрирован непосредственно в панель задач Windows 11. Это изменение направлено на то, чтобы сделать текстовое взаимодействие с ИИ-помощником более доступным. В пакете приложений Microsoft 365, который включает PowerPoint, Excel и Word, Copilot Vision был усовершенствован, чтобы понимать полный контекст работы пользователя. С явного разрешения пользователя ИИ может просматривать экран и предлагать помощь в таких задачах, как разработка презентации или анализ данных электронных таблиц. Microsoft также расширяет Copilot Actions — функцию, которая позволяет интеллектуальному агенту выполнять для пользователя многоэтапные задачи. Ранее эта возможность ограничивалась действиями в браузере, такими как бронирование отеля или поиск авиабилетов, теперь эта возможность распространяется на программу Windows 11 Insiders. Расширение позволяет Copilot Actions работать в локальной операционной системе, выполняя задачи в проводнике или осуществляя поиск файлов на компьютере. Пользователи могут описать желаемый результат, а ИИ будет работать над его выполнением. Это связано с более широкой инициативой Microsoft по связыванию своего искусственного интеллекта с такими сервисами, как OneDrive, и внешними платформами, такими как Google Gmail, с возможностью экспорта результатов задач в другие приложения. Кроме того, Microsoft объявила о сотрудничестве с инструментом агента задач Manus. Это партнерство позволит инструменту выполнять сложные операции с локальными файлами пользователя в зависимости от получения разрешения. Технической основой для этого сотрудничества является общая инфраструктура, созданная Microsoft и материнской компанией Manus, сторонней фирмой, базирующейся в Шанхае, с использованием серверов Azure, дополненных возможностями искусственного интеллекта. Для обеспечения безопасности и конфиденциальности обновление включает новые уровни контроля, называемые «оградами безопасности». Microsoft заявляет, что пользователи будут иметь полный контроль над новыми функциями и смогут отключить или приостановить действия Copilot Actions в любое время. Компания также обязуется предоставить пользователям полную прозрачность действий ИИ, предоставляя обновления на каждом этапе выполнения задачи. Ссылаясь на уроки недавнего «фиаско отзыва», Microsoft утверждает, что постоянно проводит комплексные проверки и собирает отзывы организаций, чтобы улучшить свои механизмы безопасности и конфиденциальности.
Source: Microsoft запускает «Copilot Voice» и «Copilot Vision» в Windows 11
