Інноваційна пошукова система, створена для LLM

Колись Інтернет уявлявся як утопія, що пропонує універсальний доступ до найсвіжішої інформації на будь-яку тему. Однак інтенсивна боротьба за увагу користувачів це змінила. Команда Metaphor стверджує, що ця трансформація найбільш помітна в погіршенні пошуку Google. Досягнення вищих позицій у результатах пошуку Google, щоб отримати вигоду з подальшого трафіку, стало настільки важливим, що породило власну індустрію: пошукову оптимізацію (SEO). Як наслідок, веб-сайти зараз беруть участь у жорсткій конкуренції не лише за створення кращого контенту, але, в першу чергу, за отримання кращих позицій у пошуковій видачі Google, навіть за відносно простими запитами на кшталт “рецепт баклажанів з пармезаном”.

Команда Metaphor вирішила відновити втрачені властивості пошукових систем минулого, використовуючи потужність величезних мовних моделей. Такі досягнення, як GPT3, дали їм надію, що це можливо. Вони отримали стартап-інвестиції, придбали кластер графічних процесорів і почали працювати. Їх мета — зробити так, щоб під час пошуку в Інтернеті виникало відчуття, ніби вас проводять за руку через суму всіх людських знань.

Команда представила Metaphor API — уніфікований інтерфейс для інтеграції LLM з Інтернетом. Його можна використовувати лише за допомогою кількох рядків коду:

• Спробуйте пошук за ключовим словом або метафорою
• Проаналізований HTML буде повернуто миттєво. Немає необхідності сканувати веб-сторінки.

Під час пошуку в Metaphor використовується модель на основі трансформерів для прогнозування посилань, які будуть найбільш релевантними до запиту. Основна відмінність полягає в тому, що результати, які повертаються, значно більше відповідають конкретному запиту користувача в Metaphor. Якщо в Google ввести “AI podcasts”, користувач отримає купу посилань на кшталт “The 11 Best AI Podcasts”, але в Metaphor він отримає реальні подкасти, які були впорядковані за якістю та релевантністю.

Нейромережа команди навчилася розпізнавати такий текст і прогнозувати подальший зв’язок. Результатом є новий підхід до пошуку в Інтернеті, який імітує дію поширення знайденого посилання. Хоча спочатку це може бути незрозуміло, пошук, проведений у такий спосіб, може дати релевантні та корисні результати. Ось кілька варіантів пошуку:

• Опишіть або уявіть собі шлях пошуку.
• Результати пошуку будуть відображатися лише за потрібними вам параметрами.
• Знайдіть матеріали, які Google не показує на видному місці, тому що ключові слова не є найкращим підходом або тому, що пошукова система повинна бути зацікавлена в їх високому рейтингу.
• Шукайте більше посилань, подібних до того, що ви знайшли в пошуку.

Ключові особливості

• Metaphor використовує архітектуру на основі трансформерів для прогнозування посилань, що дає змогу використовувати весь виразний потенціал природної мови для пошуку. Платформа оперативно надає детальний, розбірливий HTML-контент для будь-якої веб-сторінки, усуваючи необхідність веб-скрейпінгу.
• Завдяки доступним параметрам користувачі можуть звузити пошук, вказавши такі фактори, як часовий проміжок і домен. Система розроблена для простоти і оснащена наборами для розробки програмного забезпечення (SDK) Python і Node. Посібник із впровадження пропонує інформацію про використання GPT для різних завдань.
• Миттєвий пошук контенту можливий для будь-якої проіндексованої веб-сторінки, а Metaphor пропонує більшу кількість повернутих результатів, які можуть бути просіяні LLM. Крім того, цінова структура значно доступніша, ніж у Bing API. Початкове використання Metaphor, до першої тисячі запитів на місяць, є безкоштовним на невизначений термін.