Как работает Rerank 2.5?
Rerank 2.5 — модель переранжирования: она отбирает и упорядочивает найденные фрагменты, поэтому качество выдачи зависит не только от векторного поиска. По данным разработчика модель даёт прирост точности поиска на 7.94% на 93 датасетах. В BotHub она доступна без VPN и зарубежной карты, оплата идёт в рублях по факту, а токены не сгорают. Через единый OpenAI-совместимый API переранжирование встраивается в RAG-конвейер сразу после поиска по Qdrant или pgvector, а рядом доступны более 250 моделей для генерации. Сценарии: точнее RAG-бот по внутренней базе знаний, релевантная выдача в интернет-магазине, отбор документов для корпоративного ассистента, меньше галлюцинаций в поддержке.Частые вопросы о Rerank 2.5
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
rerank-2.5 — реранкер: он берёт ваш запрос и список кандидатов и переставляет их по релевантности, отдавая оценки. Подходит для поиска по базе знаний, отбора фрагментов для RAG, сортировки выдачи и фильтрации мусора перед отправкой в генеративную модель. Доступен через единый API BotHub, без VPN и зарубежной карты.
Статьи и сочинения эта модель не пишет: её ответ — упорядоченный список кандидатов с оценками релевантности. В наших данных указан контекст 32000 токенов на запрос и лимит вывода 28800 токенов, но расходуются они на обработку запроса и ранжирование, а не на связный текст.
Отметки о рассуждениях перед ответом в наших данных нет, поэтому обещать пошаговые размышления не будем. По своему назначению модель сразу сопоставляет запрос с кандидатами и выдаёт порядок. Если нужна цепочка рассуждений, её лучше строить на генеративной модели, а реранкером отбирать фрагменты.
Подтверждённой отметки о вызове функций и структурированном выводе JSON в наших данных нет. При этом результат реранкера и так упорядочен: список кандидатов с оценками, который удобно разбирать программно. Если нужен строгий ответ по вашей схеме, уточните формат в документации к API.
Приём изображений, аудио и видео в наших данных не отмечен. Считайте, что модель работает с текстом: запрос и текстовые кандидаты — фрагменты документов, статьи, ответы базы знаний. Для картинок и видео выбирайте в BotHub модели соответствующего типа, они доступны в том же окне.
Данных о качестве работы с русским языком в описании модели нет, поэтому заявлять о нём не будем. Практичнее проверить на своих материалах: загрузите реальные пары «вопрос — фрагмент» и сравните порядок выдачи. Через BotHub это удобно сделать в одном окне и без VPN.