NVIDIA Nemotron 3.5 Lightning
нейрожелі
Nemotron 3.5 Lightning — NVIDIA-ның 3B белсенді параметрі бар ашық MoE-моделі: агенттік тапсырмалар мен жоғары жүктемелерге арналған API
Сипаттамалары
- Кіріс деректер
- мәтін, кескіндер, құжаттар
- Нәтиже
- мәтін
- Контекст өлшемі
- 262 144 токен
- Жауап ұзындығы бойынша ең көп шек
- 235 929 токен
- Пайымдау деңгейлері
- төмен, орташа, жоғары
- Мүмкіндіктер
- пайымдау, функцияларды шақыру
Промптың құны
(1М токенге қарай)
Жауаптың құны
(1М токенге қарай)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'nemotron-3.5-lightning',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'nemotron-3.5-lightning',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Қалай жұмыс істейді NVIDIA Nemotron 3.5 Lightning?
Nemotron 3.5 Lightning — mixture-of-experts архитектурасындағы NVIDIA-ның ашық моделі: 30 млрд параметрдің ішінен әр сұранысқа шамамен 3 млрд-ы іске қосылады, соның арқасында модель жоғары өткізу қабілеттілігін сақтайды және агенттік жүктемелер мен тар мамандандырылған тапсырмаларға арналған. BotHub арқылы ол VPN-сіз және шетелдік картасыз қолжетімді: ресейлік картамен рубльде токендер үшін төлеңіз, жазылымсыз, ал жұмсалмаған токендер жойылмайды. Бір терезеде 250-ден астам модель бар және бірыңғай OpenAI-үйлесімді API интеграцияны қайта жазбай-ақ олардың арасында ауысуға мүмкіндік береді; трафик AES-GCM арқылы шифрланады, деректер сақталмайды, ал командалар үшін шарт, шот, ЭҚҚ, әкімшілік панель және лимиттер қолжетімді. Lightning-ті жауап беру жылдамдығы маңызды көп сатылы агенттер мен шақыру тізбектері үшін, классификация, таңбалау және деректерді шығару сияқты біртектес сұраныстарды ағындық өңдеу үшін, ішкі көмекшілер мен сервис прототиптері үшін, сондай-ақ іске қосу алдында өз промпттарыңызды жүктемелік тестілеу үшін пайдаланыңыз.NVIDIA Nemotron 3.5 Lightning туралы жиі қойылатын сұрақтар
Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.
Бұл 262 144 токен контексті бар NVIDIA мәтіндік моделі. Ол ұзын құжаттарды талдауға, код жазуға және рефакторингке, жөндеуге (debugging), пайымдауға және STEM тапсырмаларына, сондай-ақ кескіндерді оқуға және құралдарды шақыру арқылы агенттік сценарийлерді құруға жарамды.
Бір жауапта 131 072 токенге дейін. Бұл көлемді техникалық құжаттамаға, ірі код модульдеріне, зерттеудің егжей-тегжейлі талдауына немесе көптеген жеке сұраныстардан қолмен жинауды қажет етпейтін толық есепке жетеді.
Иә, пайымдау режимі расталған. Модель түпкілікті жауапқа дейін аралық қадамдарды құра алады, бұл математикада, логикада, деректерді талдауда және есептеулер тізбегі маңызды, ал жылдам болжам емес, күрделі кодты талдауда көмектеседі.
Иә, function calling және JSON-да құрылымдық шығару да қолдау табады. Модельді сыртқы сервистер мен дерекқорларға қосуға болады, ал жауаптың болжамды форматы қосымша парсерлерсіз қолданбаңыз жағында деректерді талдауды жеңілдетеді.
Кіріс ретінде кескіндер мен құжаттар қабылданады: схеманы, интерфейс скриншотын, графикті немесе көп беттік файлды талдауды сұрауға болады. Аудио мен видео туралы біздің деректерде белгі жоқ. Модель нәтижені мәтін түрінде қайтарады.
Модель көптілді және BotHub-та орыс тіліндегі сұраныстармен кез келген басқа сұраныстар сияқты жұмыс істеуге болады. Сапасын өз тапсырмаңызда тексеру ыңғайлы: чатты ашыңыз, типтік промпт жіберіңіз және қажет болса, нәтижені сол терезедегі басқа модельмен салыстырыңыз.