Switchyard

нейрожелі

Switchyard — сұраныстарды нейрожелілер арасында бөліп, құнын оңтайландыратын ашық модельдер роутері.

Сипаттамалары

Кіріс деректер
мәтін, құжаттар
Нәтиже
мәтін
Контекст өлшемі
1 000 000 токен
Жауап ұзындығы бойынша ең көп шек
330 000 токен
bothub
BotHub: Нейрожелілерді тегін қолданып көріңізbot

Caps қалды: 0 CAPS
Switchyard үшін API және код үлгісіБіз OpenAI API-іне толық қолжетімділікті ұсынамыз. Біздің барлық соңғы нүктелер OpenAI-мен толық сәйкес келеді, оларды плагиндермен де, SDK арқылы өз бағдарламаңызды әзірлегенде де қолдануға болады.API кілтін жасау
import OpenAI from 'openai';
const openai = new OpenAI({
  apiKey: '<your bothub access token>',
  baseURL: 'https://openai.bothub.chat/v1'
});


// Sync - Text generation 

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'switchyard',
  });
} 

// Async - Text generation 

async function main() {
  const stream = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'switchyard',
    stream: true
  });

  for await (const chunk of stream) {
    const part: string | null = chunk.choices[0].delta?.content ?? null;
  }
} 
main();
illustaration

Қалай жұмыс істейді Switchyard?

Switchyard — ашық бастапқы коды бар сұраныстар роутері: бір ғана бекітілген нейрожелінің орнына, ол модельдердің сұранысқа ие болуы туралы нарықтық деректерге сүйене отырып, нақты сұранысқа сай модельді өзі таңдайды және сұраныс құнын ұстап тұрады. BotHub-та модель VPN-сіз және шетелдік картасыз жұмыс істейді, төлем ресейлік карталармен токендер үшін факт бойынша жүзеге асады, жазылымсыз, ал жұмсалмаған баланс жойылмайды. Бір терезеде 250-ден астам нейрожелі бар, сондықтан роутер жауабын қолмен таңдалған модельмен салыстыру оңай, ал бірыңғай OpenAI-үйлесімді API кодты қайта жазбай-ақ интеграцияда модельді өзгертуге мүмкіндік береді. Хат алмасу AES-GCM арқылы шифрланады, деректер сақталмайды, ал компаниялар үшін шарт, шот, ЭДО және лимиттері бар әкімшілік панель қолжетімді. Біртектес сұраныстар ағынын арзандату, мультимодельді сервистің прототипін жинау, өнімдегі жауаптардың бірінші желісін жабу, мәтіндерді шикілей генерациялау және редакциялау немесе қай нейрожелі тапсырмаңызды дәлірек орындайтынын тексеру қажет болғанда пайдалы.

Switchyard туралы жиі қойылатын сұрақтар

Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.

Switchyard — NVIDIA-ның мәтіндік моделі. Кіріс ретінде мәтін мен құжаттарды қабылдайды, сондықтан ұзақ материалдармен жұмыс істеуге жарамды: есептерді талдау, түйіндемелер мен құрылымдау, редакциялау және қайта жазу, файлдар мазмұны бойынша сұрақтарға жауап беру, код және техникалық құжаттамамен көмектесу.

Бір жауаптың максималды көлемі — 330 000 токен, бұл жүздеген бет. Мұндай қор ұзақ есепке, үлкен құжатты аударуға немесе толық техникалық құжаттамаға, бөліктерге қолмен бөлмей-ақ жетеді. Контекстік терезе — миллион токен.

Біздің деректерде бөлек ой жүгірту режимі көрсетілмеген, бірақ бұл оның жоқ екенін білдірмейді. Егер кезең-кезеңімен түсіндіру қажет болса, сұраныста тікелей сұраңыз: модель тапсырманы жауаптың ішінде қадам бойынша талдайды — логиканы немесе есептеулерді талдау үшін бұл әдетте жеткілікті.

Біздің деректерде функцияларды шақыру және қатаң құрылымдалған шығыс туралы белгілер жоқ, сондықтан қолдауға кепілдік бере алмаймыз. Тәжірибеде форматты промтта тікелей көрсетіп, тек JSON қайтаруды сұрауға болады. Продакшн алдында модельді BotHub-тың бірыңғай API-і арқылы өз сценарийлеріңізде тексеріңіз.

Құжаттар — иә, бұл расталған мүмкіндік: файлдарды жүктеп, олар бойынша сұрақтар қойыңыз. Суреттер, аудио және видео кіріс форматтары ретінде біздің деректерде көрсетілмеген. Егер медиамен жұмыс қажет болса, BotHub-та мультимодальды модельдер қолжетімді, ауысу бір терезеде жүзеге асады.

Бұл модельдің орыс тіліндегі сапасы туралы жеке деректер бізде жоқ, сондықтан ештеңе уәде ете алмаймыз. Ең оңайы — өз мәтініңізде тексеру: Switchyard-ты сайтта немесе BotHub Telegram-ботында ашыңыз. Ресейден VPN-сіз және шетелдік картасыз қолжетімді, рубльмен төлем.

Қолдау қызметі10:00-ден 18:00-ге дейін МСК жұмыс істейміз