Llama 3.3 70B Instruct
нейрожелі
Llama 3.3 70B Instruct — диалог пен нұсқаулық тапсырмаларына арналған Meta-ның 70 млрд параметрлі көптілді мәтіндік моделі.
Сипаттамалары
- Кіріс деректер
- мәтін, құжаттар
- Нәтиже
- мәтін
- Контекст өлшемі
- 131 072 токен
- Жауап ұзындығы бойынша ең көп шек
- 115 200 токен
- Мүмкіндіктер
- функцияларды шақыру
Промптың құны
(1М токенге қарай)
Жауаптың құны
(1М токенге қарай)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.3-70b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.3-70b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Қалай жұмыс істейді Llama 3.3 70B Instruct?
Llama 3.3 70B Instruct — Meta-ның 70 миллиард параметрлі тілдік моделі: алдын ала оқытылған және нұсқаулықтар бойынша баптаудан өткен, кіріс мәтін мен шығыс мәтін схемасымен жұмыс істейді және көптілді диалогқа арналған. BotHub-та llama 3.3 моделі VPN-сіз және шетелдік картасыз қолжетімді: жазылым үшін емес, пайдаланылған токендер үшін рубльмен төлейсіз, қалдық жойылмайды. Бір терезеде басқа нейрожелілер де ашық, сондықтан жауаптарды бірнеше рет басу арқылы салыстыруға болады, ал бірыңғай BotHub API-і Llama-ны өз сервисіңізге қосуға және кейін интеграцияны қайта жазбай-ақ басқа модельге ауыстыруға мүмкіндік береді. Деректер шифрланған түрде беріледі, ал компаниялар үшін шарт, шот, ЭҚА және лимиттері бар әкімшілік панель қолжетімді. Қолдау қызметіне арналған чат-көмекшіні жасау, ұзын құжатты немесе хат алмасуды қысқаша мазмұндау, нобайды қайта жазу және түзету, клиенттердің типтік сұрақтарына жауап дайындау және API арқылы мәтіндерді пакеттік өңдеуді іске қосу үшін пайдалы.Llama 3.3 70B Instruct туралы жиі қойылатын сұрақтар
Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.
Llama 3.3 70B Instruct — диалог пен нұсқаулық бойынша жұмыс істеуге арналған Meta-ның мәтіндік моделі: мәтіндерді жазады және өңдейді, кодты талдайды, рефакторинг пен жөндеуге көмектеседі, логикалық және STEM тапсырмаларын шешеді. 128 000 токендік контекст ұзақ хат алмасуды, құжаттаманы немесе үлкен жобаны толығымен жұмыс барысында ұстауға мүмкіндік береді.
Бір жауапта модель 16 384 токенге дейін береді — бұл көлемді мақалаға, құжаттаманың үлкен бөліміне немесе бірнеше код файлына жетеді. Егер материал сыймаса, жалғастыруды сұраңыз: басы 128 000 токендік контексте қалады және модель ой желісін жоғалтпайды.
Біздің деректерде кезең-кезеңімен ойлаудың жеке режимі көрсетілмеген: модель әдетте бірден жауап береді. Бірақ промпт арқылы егжей-тегжейлі талдауды ала аласыз — шешімді қадам бойынша жазуды, нұсқаларды салыстыруды және содан кейін ғана қорытынды жасауды сұраңыз. Логика, математика және кодты талдау үшін бұл әдіс жақсы жұмыс істейді.
Иә. Модель функцияларды шақыруды және құрылымдалған JSON шығысын қолдайды, сондықтан оны агенттерге, чат-боттарға және пайплайндарға енгізу ыңғайлы: ол қажетті құралды өзі таңдайды және берілген схема бойынша өрістерді қайтарады. BotHub-та бұл бірыңғай OpenAI-үйлесімді API арқылы жұмыс істейді, сондықтан модель интеграцияны қайта жазбай-ақ ауыстырылады.
Суреттер мен құжаттарды жүктеуге болады — модель скриншотты, схеманы, графикті немесе файлды талдап, мәтінмен жауап береді. Аудио мен видеоны кіріс ретінде қабылдауы біздің деректерде көрсетілмеген. Мәтіннен басқа генерация да көрсетілмеген: суреттер мен дыбыстауды BotHub-тың сол терезесіндегі басқа модельдер арқылы жасаңыз.
Біздің деректерде тілдер туралы белгілер жоқ, сондықтан орыс тілін білу деңгейіне кепілдік бере алмаймыз. Тәжірибеде тексеру оңайырақ: типтік сұрауыңызды жіберіп, жауапты бағалаңыз. Егер тұжырымдар ұнамаса, сол терезедегі басқа модельге ауысыңыз — токендер жойылмайды, төлем факті бойынша жүзеге асырылады.