Nemotron 3 Super 120B A12B
нейрожелі
Nemotron 3 Super 120B A12B — күрделі көп агентті жүйелер мен жұмыс тізбектеріне арналған NVIDIA-ның ашық гибридті MoE-моделі
Сипаттамалары
- Кіріс деректер
- мәтін, кескіндер, құжаттар
- Нәтиже
- мәтін
- Контекст өлшемі
- 262 144 токен
- Жауап ұзындығы бойынша ең көп шек
- 16 384 токен
- Пайымдау деңгейлері
- пайымдаусыз, төмен, орташа
- Мүмкіндіктер
- пайымдау, функцияларды шақыру
Промптың құны
(1М токенге қарай)
Жауаптың құны
(1М токенге қарай)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'nemotron-3-super-120b-a12b',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'nemotron-3-super-120b-a12b',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Қалай жұмыс істейді Nemotron 3 Super 120B A12B?
Nemotron 3 Super 120B A12B — Mamba және Transformer гибридті архитектурасы бар NVIDIA-ның ашық моделі: 120 миллиард параметрдің ішінен әр сұранысқа шамамен 12 миллиарды іске қосылады, сондықтан аралас сарапшылық схема (MoE) есептеу ресурстарын үнемдей отырып, дәлдікті қамтамасыз етеді. Әзірлеушілер бірнеше рөл репликалар мен құралдармен алмасатын күрделі көп агентті қосымшаларды көздеді. BotHub-та модель VPN-сіз және шетелдік картасыз қолжетімді: сіз жазылым үшін емес, нақты токендер үшін рубльмен төлейсіз, ал токендер жойылмайды. Бір терезеде 250-ден астам модель бар, олардың арасында ауысу және жауаптарды салыстыру оңай, ал бірыңғай OpenAI-үйлесімді API интеграцияны қайта жазбай-ақ модельді мультимодельді жүйеде ауыстыруға мүмкіндік береді; компаниялар үшін шарт, шот және лимиттері бар әкімшілік панель бар. Бұл сыртқы қызметтерге жүгінетін агенттік тізбекті құрғанда, құжаттарды талдау мен аналитиканы автоматтандырғанда, білім базаңыздың негізінде RAG-көмекшісін жасағанда, команданың ішкі құралдарын прототиптегенде немесе жүктемесі жоғары контур үшін есептеу жағынан үнемді нұсқаны іздегенде пайдалы.Nemotron 3 Super 120B A12B туралы жиі қойылатын сұрақтар
Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.
Бұл NVIDIA-ның пайымдау режимі бар мәтіндік моделі. Кодпен жұмыс істеуге, құжаттарды талдауға, STEM-тапсырмалары мен логикаға, кескіндерден деректерді алуға, сондай-ақ сыртқы құралдарды шақыру қажет көмекшілер мен конвейерлерге жарамды. Контекст — 8000 токен.
Шығару лимиті өте үлкен — 235929 токенге дейін, сондықтан модель ұзақ талдауларды, көлемді код модульдерін және толық құжаттарды түгелдей бере алады. Дегенмен контекст — 8000 токен, сондықтан үлкен кіріс материалдарын бөліктермен берген жөн. Жазылымсыз, токендер үшін нақты пайдалану бойынша төлейсіз.
Иә, жауап берер алдындағы пайымдаулар біздің деректерімізбен расталған: модель алдымен тапсырманы қадамдарға бөледі, содан кейін ғана қорытынды жасайды. Бұл математикада, логикалық тізбектерде, кодты түзетуде және көп қадамды сценарийлерде айтарлықтай көмектеседі. Қарапайым сұраныстарда мұндай режим әдетте қажет емес.
Иә, function calling және құрылымдалған JSON шығысы қолдау табады. Модельді сыртқы қызметтерге, дерекқорларға және жеке құралдарға қосуға болады, бұл ретте жауапты қатаң схема бойынша аласыз. BotHub-та бірыңғай OpenAI-үйлесімді API жұмыс істейді, сондықтан модельді ауыстыру интеграцияңызды қайта жазуды талап етпейді.
Кіріс ретінде кескіндер мен құжаттар қабылданады: суретті сипаттауды, схеманы немесе кестені талдауды, сканерленген құжаттан деректерді шығаруды сұраңыз. Аудио мен видео біздің деректерімізде көрсетілмеген, суреттерді генерациялау да мәлімделмеген — шығыста модель мәтін береді.
Орыс тілінің сапасы туралы жеке деректеріміз жоқ, сондықтан модельді өз сұраныстарыңыз бен промпттарыңызда тексерген жөн. BotHub-та бір терезеде 250-ден астам модель бар: нәтижелерді салыстыру және басқасына ауысу оңай, VPN-сіз және шетелдік картасыз, рубльмен төлеу арқылы.