Взаимодействие с недостъпни сайтове чрез ChatGPT
Всеки потребител, който използва екранен четец, се е сблъсквал с уеб сайтове с недостъпно съдържание. Независимо дали са определени елементи от тях или като цяло трудна навигация, понякога се налага да се използва придвижване на мишката до определена контрола от сайта, отиване в края на страницата, за да се влезе в изскачащ прозорец. А нерядко е нужна и помощ от нормално виждащ потребител.
С навлизането на по-самостоятелни езикови модели, това ще започне да се променя. Към днешна дата е възможно да се накара даден изкуствен интелект временно да поеме контрола над браузъра ви, да отвори уеб сайт и да взаимодейства с него. Примерно да попълни някакъв формуляр и да го изпрати, да добави продукт в количка на онлайн магазин, да извърши действие от името на ваш акаунт, да провери за определена информация и да ви я покаже в достъпен вид. Да кликне върху елемент, който JAWS или NVDA не засичат, но AI агентът ще види чрез екранните снимки, които прави, докато използва директно уеб браузъра на компютъра ви.
Не бива да предоставяте потребителски имена и пароли на езиков модел, както и чувствителна информация като например данни на банкова карта. Но за действия, които не изискват попълване на твърде лична информация, съвсем спокойно могат да се използват възможностите на изкуствения интелект да работи с уеб сайтове директно на вашия компютър. Тук ще обясня как това може да се направи с ChatGPT. За целта е необходимо следното:
- Да сте инсталирали приложението на ChatGPT.
- Да имате профил с достъп до функциите за управление на браузъра. Наличността и ограниченията зависят от използвания абонаментен план.
- Да сте добавили разширението на ChatGPT за Google Chrome.
Когато искате да накарате изкуствения интелект да взаимодейства с уеб сайт, трябва да сте отворили браузъра Google Chrome и приложението ChatGPT с вписан профил. Влезте в интересуващия ви сайт и натиснете клавишната комбинация Control+Shift+Точка. Ще се отвори малък прозорец на ChatGPT.
В него можете да напишете вашата заявка за взаимодействие с уеб сайта. Например „кликни върху даден елемент“, „добави продукт в количката“, „влез в определена страница“, „потърси информация“, „завърши поръчка“ и така нататък.
Използвайте стандартните клавишни комбинации за работа с уеб сайтове, за да преглеждате отговорите на изкуствения интелект в чата. Имайте предвид, че разговорите в разширението за Google Chrome са отделни от тези в сайта и приложението ChatGPT. Ако искате да скриете прозореца на добавката за браузъра, натиснете отново Control+Shift+Точка.
Има и още по-лесен вариант. Докато си пишете с езиковия модел чрез приложението ChatGPT в режим Work или Codex, да натиснете Control+Shift+B. Така ще се отвори вграденият браузър. Той е сравнително достъпен, може да се обхожда уеб сайт и да се взаимодейства с него. Например въвеждате си данните за вход, връщате се с Shift+E в полето за заявка към езиковия модел и там бихте могли да му кажете какви действия да извърши в сайта.
Към днешна дата този втори вариант при мен работи по-надеждно. Първият с добавката за Chrome се справяше добре преди седмици, когато изпробвах тази функционалност. Днес като се опитах да я използвам на друг компютър се оказа, че връзката между браузъра, разширението и приложението при мен е неуспешна. В резултат езиковият модел вижда отворения сайт, но не може да взаимодейства с него. Така че ако единият метод не сработва, изпробвайте другия. Нарочно съм описал и двата, понеже скорошните ми наблюдения може да са временен проблем само на моя компютър.
Не само ChatGPT предлага възможност да изпълнява задачи директно чрез вашия браузър в Windows. Claude Code в своето приложение също има подобна функционалност. Може директно да управлява браузъра или друго приложение на компютъра, ако му кажете. Това изглежда е една от задаващите се тенденции. Не изкуственият интелект да казва как да извършим определена работна задача, а директно да я изпълни на устройството на потребителя. За последния остава тестването и коригирането на крайния резултат.
Имайте предвид обаче, че тези и други по-разширени функционалности често са ограничени при безплатните планове на езиковите модели. Така че ако искате да използвате пълноценно възможностите на изкуствен интелект като ChatGPT, Google Gemini и особено Claude, безплатният план може да бъде подходящ за изпробване, но при по-интензивна работа вероятно ще ви е необходим платен абонамент.
Изкуственият интелект не е безгрешен. Възможно е да не разбере напълно дадена инструкция за взаимодействие с уеб сайт, да кликне върху грешен бутон, да промени настройка, която не му е казано да управлява. Затова е добре да се прави допълнителна проверка на извършените от него действия.
Опитът показва, че тези функционалности все още се доуточняват и е възможно понякога да не работят както се очаква. Но и в този им вид според мен си заслужава да бъдат изпробвани. Остава да се надяваме, че с времето те ще бъдат стабилизирани и подобрени.
Очаквайте още интересни материали тук, както и на страницата ни във Facebook. Можете да разгледате и продуктите в нашия електронен магазин.
