Jev Router
нейрожелі
BotHub-тағы TypeSafe Jev Router — тапсырмаға қарай модель мен пайымдау тереңдігін өзі таңдайтын сұраныс маршрутизаторы.
Сипаттамалары
- Кіріс деректер
- мәтін, кескіндер, құжаттар
- Нәтиже
- мәтін
- Контекст өлшемі
- 1 000 000 токен
- Жауап ұзындығы бойынша ең көп шек
- 64 000 токен
- Пайымдау деңгейлері
- төмен, орташа, жоғары
- Мүмкіндіктер
- пайымдау, функцияларды шақыру
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'jev-router',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'jev-router',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Қалай жұмыс істейді Jev Router?
Jev Router — TypeSafe маршруттау қабаты: ол сұранысты талдап, сапа, жылдамдық пен құн арасындағы тепе-теңдікті сақтау үшін қай модельді және қандай пайымдау деңгейін қосу керектігін өзі шешеді. Негізінде TypeSafe-тің алғашқы System One моделі Jev жатыр, ал маршруттаудың өзі сіздің сұраныстарыңыздың сипатына бейімделеді: қарапайым тапсырмалар артық ресурстарды жұмсамайды, күрделілері тереңірек талдау алады. BotHub арқылы роутер Ресейден VPN-сіз және шетелдік картасыз жұмыс істейді, ресейлік картамен рубльде төлейсіз және тек іс жүзінде жұмсалған токендер үшін төлейсіз — жазылым қажет емес, қалдық жойылмайды. Сол терезеде 250-ден астам модель бар, сондықтан жауаптарды салыстыру оңай, ал бірыңғай OpenAI-үйлесімді API интеграцияны қайта жазбай-ақ өнімдегі модельді ауыстыруға мүмкіндік береді; сұраныстар AES-GCM арқылы шифрланады, ал компаниялар үшін шарт, шот, ЭДО және лимиттері бар админ-панель бар. Қолдау қызметі мен чат-боттардағы әртүрлі сұраныстар ағынын өңдеу, кодты жазу және рефакторинг жасау, құжаттар мен аналитиканы талдау, мәтіндердің жобаларын дайындау, сондай-ақ модельді қолмен таңдау маңызды емес мультимодельдік сервистерде қажет болады.Jev Router туралы жиі қойылатын сұрақтар
Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.
Бұл миллион токен контексті бар мәтіндік модель: ол үлкен құжаттар мен тұтас код базаларын талдайды, кодты жазады және рефакторинг жасайды, отладка, аналитика және STEM-тапсырмаларында көмектеседі. Зерттеулерге, көлемді құжаттамамен жұмыс істеуге және API арқылы агенттік сценарийлерді құруға жарамды.
Шығару лимиті — бір жауапқа 330 000 токенге дейін, бұл көлемді құжаттарға, егжей-тегжейлі техникалық талдауларға, ұзын код тізімдеріне немесе үлкен мәтінді толығымен аударуға жетеді, тапсырманы ондаған ұсақ сұраныстарға қолмен бөлудің қажеті жоқ.
Иә, модельде пайымдау режимі бар: нәтижені бермес бұрын, ол қадамдар тізбегін құрады. Бұл математикада, логикада, кодты талдауда және жауапты болжау емес, оны мұқият шығару маңызды болатын көп сатылы тапсырмаларда айтарлықтай көмектеседі.
Иә, функцияларды шақыру (function calling) және JSON-да құрылымдалған шығару қолданылады. Модельді сыртқы құралдар мен дерекқорларға қосуға, агенттер құруға және схема бойынша болжамды жауаптарды қайтаруға болады. BotHub-та бұл бірыңғай OpenAI-үйлесімді API арқылы жасалады.
Кіріс ретінде мәтіннен бөлек, суреттер мен құжаттар қабылданады: интерфейс скриншотын, схеманы, графикті, PDF немесе келісімшартты жіберіп, мазмұнын талдауды, деректерді шығаруды және қорытынды жасауды сұрауға болады. Модель бұл ретте мәтін генерациялайды.
Модель мәтінмен жалпы түрде жұмыс істейді, сондықтан оны өз тапсырмаңызда тексерген тиімдірек. BotHub-та бұл ыңғайлы: барлық модельдер бір терезеде қолжетімді және сіз бірнеше жауапты салыстыра аласыз, тек іс жүзінде пайдаланылған токендер үшін төлейсіз.