11.04.2024 17:01
Дослідники з Apple пропонують Ferret-UI: Нову MLLM, що значно покращує розуміння та взаємодію з мобільними інтерфейсами
Дослідники Apple представили Ferret-UI, нову модель штучного інтелекту, яка значно покращує розуміння та взаємодію з мобільними інтерфейсами.
Мобільні додатки стали невіддільною частиною нашого життя. Ми використовуємо їх для розваг, роботи, спілкування та багато чого іншого. Проте складність та різноманітність мобільних інтерфейсів часто роблять їх незручними для користувачів.
Ferret-UI розв’язує цю проблему. Ця модель спеціально розроблена для розуміння мобільних інтерфейсів. Вона може адаптуватися до будь-якого співвідношення сторін екрана, фокусуватися на дрібних деталях і розбивати інтерфейси на субзображення для кращого аналізу.
Ferret-UI значно перевершує чинні моделі. У тестах вона показала на 25% кращу точність розпізнавання іконок, на 30% кращу класифікацію віджетів, а також на 20-22% кращу точність у базових завданнях, таких як пошук віджетів та іконок.
Нагадаємо, у березні дослідники Apple представили ReALM, нову модель, яка може «бачити» та розуміти контекст екрана.
)
)
)
)
)
)
)
)
