Windows: Как да използваме недостъпни приложения с Viewpoint

Изкуственият интелект постепенно навлиза в различни сфери на нашия живот. В едни по-успешно, в други по-бавно, но с времето ще става все по-полезен. В тази публикация ще ви представя Viewpoint. Това е инструмент, който използва езиковия модел Google Gemini, за да анализира интерфейса на различни приложения и да подобрява тяхната достъпност за екранен четец. Можете да го изпробвате, независимо дали използвате NVDA или JAWS.

Когато е стартиран, Viewpoint сканира чрез клавишна комбинация интерфейса на приложението, което не е достъпно за екранен четец. Прозорецът трябва да е максимизиран за най-добър резултат. След няколко секунди с гласа на екранния четец се докладва колко елемента са намерени. Можете да се придвижвате между откритите чрез изкуствен интелект контроли на приложението с TAB и Shift+TAB. Това могат да бъдат бутони, текстови полета, линкове и много други. Когато натиснете Enter върху даден елемент, той ще бъде активиран. След това Viewpoint може да осъществи ново сканиране автоматично или чрез клавишна комбинация. Този инструмент е всъщност добавка към използвания в момента екранен четец, която подава информацията директно към него.

За да работи, Viewpoint изисква да имате API key за Google Gemini. За повече информация можете да прочетете публикацията в блога ни Как да си създадем API Key за Google Gemini.

Когато имате такъв, вече можете да инсталирате Viewpoint. Изтеглете го от неговата официална страница. След това стартирайте файла viewpoint_setup.exe. Ако се покаже предупреждение от Windows Defender, натиснете „Още информация“, „Изпълни въпреки това“.

Инсталацията е стандартна. В нея ще е необходимо да маркирате отметката за създаване на икона на работния плот. При първото стартиране на приложението е необходимо да въведете създадения по-рано Api Key. Потвърдете чрез бутона „OK“ и ако всичко е наред, ще чуете „Viewpoint is ready“. Щом приложението вече е конфигурирано, можете да използвате следните клавишни комбинации:

• Control+Shift+Обратна черта – Преминаване между различните режими.
• Control+Shift+Наклонена черта – Активиране на избрания режим.
• Control+Alt+Shift+V – Отваряне на настройките на приложението.
• Control+Shift+F4 – Изключване на Viewpoint.

Докато той е активен, са налични няколко режима. Ето кои са те:

UI Mode

Позволява да се придвижвате в интерфейса на приложения, които са недостъпни. Когато натиснете Control+Shift+Наклонена черта, Viewpoint ще направи снимка на екрана и ще разпознае различни контроли. Можете да се придвижвате между тях с TAB и Shift+TAB. Натиснете интервал или Enter, за да активирате избрания елемент. С Shift и два пъти интервал или Enter ще симулирате двойно щракване с мишката.

Щом активирате контрола, Viewpoint отново ще сканира прозореца за промени. В настройките на приложението можете да определите след колко време да се случва това и дали да е автоматично. Ако искате да излезете от UI Mode, натиснете Control+Alt+Shift+Наклонена черта.

OCR Mode

Когато активирате този режим с Control+Shift+Наклонена черта, Viewpoint ще сканира цялото съдържание на екрана и ще извлече текста от него. След това можете да го разгледате в стандартен прозорец и да го копирате. Ако резултатът не бъде фокусиран автоматично, намерете го с Alt+TAB.

Query Mode

Чрез него имате възможност да задавате въпроси относно съдържанието на екрана, включително и такива как да намерите даден елемент. Когато натиснете Control+Shift+Наклонена черта, Viewpoint ще направи екранна снимка и ще покаже прозорец, в който можете да въведете вашето запитване.

Ако въпросът засяга намирането на даден елемент, Viewpoint ще превключи към UI Mode. Ако не, отговорът ще бъде изведен в стандартен прозорец или направо изговорен от екранния четец.

Понякога изкуственият интелект отговаря на английски. Но ако в запитването напишете нещо от рода на „Говори на български“, той ще се съобрази с това.

PDF Reader

Този режим извлича текста от PDF документи. Когато натиснете Control+Shift+Наклонена черта, Viewpoint ще ви подкани да изберете PDF файл. След това той ще бъде анализиран, а неговият текст ще се покаже в отделен прозорец. По-големите файлове изискват повече време.

Настройки на Viewpoint (Control+Alt+Shift+V)

В прозореца освен поле за Api Key, са налични и следните отметки:

• „Rescan UI After Activation“ – Определя дали да се прави автоматично сканиране на интерфейса след активиране на елемент.
• „Delay Before UI Rescan (ms)“ – Изчакване преди автоматично сканиране. По подразбиране е 1000 милисекунди, но можете да го направите на 3000.
• „Close UI After Selection“ – Когато тази опция е включена, Viewpoint автоматично излиза от UI Mode след активиране на елемент.
• „Play Sounds“ – Определя дали да се възпроизвеждат звуците на приложението.

Специални благодарности към Вълчо Панайотов, който ми даде идея за написването на това ръководство.

Очаквайте още интересни материали тук, както и на страницата ни във Facebook. Можете да разгледате и продуктите в нашия електронен магазин.