Apple представила ШІ-функції для людей з інвалідністю, включаючи управління візком поглядом

Apple оголосила про покращення ефективності багатьох функцій доступності в своїх продуктах. Доопрацюванням піддалися такі інструменти, як VoiceOver, «Лупа», голосове управління та програма для читання для людей з обмеженими можливостями. Власники електричних інвалідних колясок зможуть керувати ними поглядом за допомогою гарнітури Vision Pro. Компанія запевнила, що додавання зазначених можливостей штучного інтелекту не зашкодило конфіденційності користувачів.

За словами старшого директора Apple з глобальної політики та ініціатив у сфері доступності Сари Херрлінгер (Sarah Herrlinger), компанія «пропонує нові, інтуїтивно зрозумілі варіанти вводу, дослідження та персоналізації, розроблені для захисту конфіденційності користувачів на кожному етапі».

VoiceOver і «Лупа» допомагають користувачам з порушеннями зору розуміти як інформацію на екрані, так і навколишнє середовище. Функція Image Explorer у VoiceOver використовує Apple Intelligence для надання більш детальних описів зображень по всій системі, включаючи фотографії, відскановані рахунки, особисті записи та інший візуальний контент.

Завдяки оновленням функції Live Recognition, користувачі VoiceOver можуть натиснути кнопку Action на iPhone, щоб швидко запитати, що знаходиться в видошукачі камери, і отримати детальну відповідь. «Лупа» тепер також працює з кнопкою Action, тому користувачі можуть швидко ставити запитання та отримувати відповіді.

Джерело зображень: unsplash.com

Керувати самим додатком можна за допомогою голосових команд, таких як «збільшити» або «включити фонарик». Раніше голосове управління вимагало від користувачів запам'ятовування точних слів і фраз. Apple стверджує, що завдяки штучному інтелекту ця функція тепер дозволяє використовувати природну мову. Можливість «говорити те, що ви бачите» підходить для навігації по будь-якому додатку, включаючи програмні продукти з візуальною структурою, такі як Apple Maps або «Файли», використовуючи інтуїтивно зрозумілу мову.

«Читання для людей з обмеженими можливостями» — це персоналізований режим читання для користувачів з широким спектром порушень, від дислексії до слабкого зору. Функція тепер працює з більш складними вихідними матеріалами, такими як наукові статті, обробляючи текст з кількома стовпцями, зображеннями та таблицями. Короткі огляди за запитом дозволяють читачам отримати загальне уявлення про статтю, перш ніж заглибитися в деталі.

Завдяки новій вбудованій функції перекладу користувачі можуть читати текст своєю рідною мовою, зберігаючи при цьому оригінальне форматування, шрифт і кольори. Будь-яке відео можна доповнити субтитрами, згенерованими штучним інтелектом. Субтитри створюються безпосередньо на пристрої для збереження конфіденційності.

Не всі користувачі інвалідних колясок з електроприводом мають достатню рухливість для використання джойстика. Тепер вони зможуть використовувати управління поглядом за допомогою гарнітури Vision Pro. Відстеження погляду не вимагає частого перекалібрування і працює в різних умовах освітлення.

На початковому етапі ця можливість буде доступна в США з системами приводу колясок Tolt і LUCI, з підтримкою як Bluetooth, так і проводного підключення. Надалі Apple пообіцяла додати підтримку інших моделей інвалідних колясок.

Apple перерахувала ще ряд додаткових покращень доступності:

• Функція розпізнавання рухів у автомобілі (Vehicle Motion Cues) з'явиться в visionOS, що допоможе зменшити укачування у людей, які використовують Apple Vision Pro в якості пасажира в рухомому транспортному засобі.
• Vision Pro буде підтримувати жести обличчя для виконання дотиків і системних дій, а також новий спосіб вибору елементів поглядом при використанні функції Dwell Control.
• Функція Touch Accommodations надає новий спосіб персоналізації налаштувань в iOS та iPadOS.
• Слухові апарати Made for iPhone будуть більш надійно сполучатися та перемикатися між пристроями Apple, буде покращено процес налаштування в iOS, iPadOS, macOS та visionOS.
• В tvOS з'явиться підтримка збільшеного тексту, тому користувачі з ослабленим зором зможуть збільшити розмір тексту на екрані для зручності читання.
• Функція розпізнавання імен (Name Recognition), яка може сповіщати глухих або слабочуючих користувачів, якщо хтось вимовляє їхнє ім'я, тепер працює більш ніж на 50 мовах світу.
• Для розробників додатків перекладу мови жестів новий API дозволяє додавати перекладача до поточного відеозв'язку FaceTime.
• Користувачі, які мають труднощі з використанням традиційних контролерів, можуть підключити контролер Sony Access до пристроїв iOS, iPadOS та macOS. Можна налаштувати джойстик, дев'ять вбудованих кнопок і до чотирьох додаткових зовнішніх кнопок або спеціальних перемикачів для персоналізації розташування елементів управління. Також можна об'єднати два контролера для індивідуальної настройки ігрового процесу.

«Підхід Apple до доступності не схожий ні на один інший, — заявив генеральний директор Apple Тим Кук (Tim Cook). — Тепер, з Apple Intelligence, ми впроваджуємо нові потужні можливості в наші функції доступності, зберігаючи при цьому нашу основоположну прихильність принципу конфіденційності на етапі проектування».

Хочеш дізнатися більше — читай відгуки