Nemotron 3.5 Lightning
нейрожелі
Nemotron 3.5 Lightning — жоғары өнімді агенттік тапсырмаларға арналған mixture of experts архитектурасы бар NVIDIA ашық моделі.
Сипаттамалары
- Кіріс деректер
- мәтін, кескіндер, құжаттар
- Нәтиже
- мәтін
- Контекст өлшемі
- 1 000 000 токен
- Жауап ұзындығы бойынша ең көп шек
- 65 536 токен
- Пайымдау деңгейлері
- төмен, орташа, жоғары
- Мүмкіндіктер
- пайымдау, функцияларды шақыру
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'nemotron-3.5-lightning:free',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'nemotron-3.5-lightning:free',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Қалай жұмыс істейді Nemotron 3.5 Lightning?
Nemotron 3.5 Lightning — mixture of experts схемасы бойынша құрылған NVIDIA ашық моделі: 30 миллиард параметрдің ішінен әр қадамда шамамен 3 миллиард белсенді параметр қолданылады. Осының арқасында модель жоғары өткізу қабілетін сақтайды және көптеген шақырулары бар агенттік жүктемелерге, сондай-ақ тар мамандандырылған тапсырмаларға арналған. BotHub-та ол VPN-сіз және шетелдік картасыз ашылады: сіз ресейлік картамен рубльмен және тек пайдалану фактісі бойынша төлейсіз, ал жұмсалмаған токендер жойылмайды. Жанында, бір терезеде 250-ден астам модель қолжетімді, олардың арасында интеграцияны қайта жазбай-ақ ауысуға және жауаптарды салыстыруға болады: API OpenAI-мен үйлесімді, хат алмасу AES-GCM шифрлауымен қорғалған. Компаниялар шот және ЭҚҚ (ЭДО) бар шарт бойынша жұмыс істейді, әкімшілік панелі және командаға арналған лимиттері бар. Егер сіз сұраныстар ағынын өңдеу жылдамдығы маңызды болатын агенттік конвейерлерді жинасаңыз, жаппай классификация мен деректерді белгілеуді ағынға қойсаңыз, құжаттардан құрылымдалған өрістерді шығарсаңыз немесе күрделі қадамдар үшін ауыр модельдерді қалдырып, мультимодельді жүйеде жылдам қабатты қолдансаңыз, бұл модель өте пайдалы.Nemotron 3.5 Lightning туралы жиі қойылатын сұрақтар
Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.
Бұл миллион токен контексті бар NVIDIA мәтіндік моделі: ол үлкен құжаттарды талдайды, кодпен жұмыс істеуге — рефакторинг, жөндеу, логтарды талдау — көмектеседі және пайымдау мен есептеулерді қажет ететін тапсырмаларды шешеді. Кескіндер мен файлдарды қабылдайды, функцияларды шақыра алады, сондықтан агенттік сценарийлерге де жарамды.
Бір жауаптың лимиті — 65 536 токен. Бұл ұзақ мақалаға, үлкен код модуліне немесе құжатты бөліктерге бөлмей, толықтай егжей-тегжейлі талдауға жетеді. API арқылы жұмыс істегенде сіз шығыс шегін өзіңіз белгілейсіз, ал контексттің қалған бөлігін кіріс материалдары үшін пайдаланасыз.
Иә, жауап берер алдында пайымдау біздің деректерімізде көрсетілген: модель алдымен шешу жолын құрады, содан кейін нәтижені береді. Бұл математикада, логикалық есептерде, кодты жөндеуде және қайшылықты құжаттарды талдауда байқалады. Қысқа сұрақтар үшін мұндай режим әдетте қажет емес — жауап бірден келеді.
Иә, модель функцияларды шақыруды және JSON-да құрылымдалған шығысты қолдайды. Сіз құралдарды сипаттайсыз, ол қажеттісін таңдайды және аргументтерді талдауға ыңғайлы түрде қайтарады — бұл агенттер, құжаттарды парсингтеу және бэкендпен интеграциялау үшін ыңғайлы. BotHub-та бұл бірыңғай OpenAI-үйлесімді API арқылы жұмыс істейді.
Кескіндер мен құжаттар — иә: скриншот, сызба, график немесе файл жіберіп, мазмұнын талдауды сұрауға болады. Кірісте аудио мен видеоны қолдау біздің деректерімізде көрсетілмеген, сондықтан дыбыстау немесе роликтерді талдау үшін мамандандырылған модельді алған дұрыс — BotHub-та ол сол терезеде ашылады.
Орыс тілінің сапасы біздің деректерімізде тіркелмеген, сондықтан біз оған кепілдік бере алмаймыз. Өз тапсырмаңызда тексеріп көріңіз: типтік сұранысты тұжырымдап, нәтижені басқа модельмен салыстырыңыз — BotHub-та ауысу бірнеше секундты алады, тек іс жүзінде жұмсалған токендер үшін төлейсіз.