Inkling 2 Small
нейрожелі
Inkling 2 Small — пайымдауға және әртүрлі деректермен жұмыс істеуге арналған Thinking Machines Lab мультимодальды MoE-моделі.
Сипаттамалары
- Кіріс деректер
- мәтін, кескіндер, құжаттар
- Нәтиже
- мәтін
- Контекст өлшемі
- 1 048 576 токен
- Жауап ұзындығы бойынша ең көп шек
- 131 072 токен
- Пайымдау деңгейлері
- минималды, төмен, орташа, жоғары, max
- Мүмкіндіктер
- пайымдау, функцияларды шақыру
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'inkling-2-small:free',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'inkling-2-small:free',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Қалай жұмыс істейді Inkling 2 Small?
Inkling 2 Small — Thinking Machines Lab ұсынған, сирек кездесетін mixture-of-experts архитектурасындағы мультимодальды пайымдау моделі: 594B жалпы параметрдің ішінде 17B белсенді параметр бар. Бұл Inkling желісінің екінші буынындағы алғашқы толықтыру, ол көп сатылы пайымдауға және бір сұраныс аясында мәтін мен кескіндермен бірлескен жұмысқа бағытталған. BotHub арқылы модельге VPN-сіз және шетелдік картасыз қол жеткізуге болады: төлем рубльмен, жанып кетпейтін токендер үшін жүзеге асырылады, ал 250-ден астам модель арасында ауысу бір рет басу арқылы орындалады, сондықтан жауаптарды бір терезеде салыстыруға болады. Командалар үшін келісімшарт, шот, ЭДО және лимиттер бар, ал әзірлеу үшін — бірыңғай OpenAI-үйлесімді API ұсынылған, деректер AES-GCM шифрлауымен қорғалған және сақталмайды. Оны кесте мен графикті немесе құжат сканын салыстырып, қорытынды жасау қажет аналитиканы талдау үшін; пайымдау барысын көрсету маңызды болған кезде кезең-кезеңімен есептеулер мен гипотезаларды тексеру үшін; бірнеше қадам алға ассистенттер прототиптерін құрастыру үшін; мәтіндік түсініктемелермен бірге кескіндерді белгілеу және сипаттау үшін қолданыңыз. Сынақ сұранысынан бастаңыз — балансты толтырып, Inkling 2 Small моделін BotHub интерфейсіндегі әдеттегі модельмен салыстырыңыз.Inkling 2 Small туралы жиі қойылатын сұрақтар
Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.
Модель мәтінмен, құжаттармен және кескіндермен жұмыс істейді: файл мазмұнын талдайды, олар бойынша сұрақтарға жауап береді және мәтін генерациялайды. Жауап берер алдындағы пайымдаулардың арқасында ол талдауға, кодпен жұмыс істеуге және көлемді материалдарды қарастыруға жарамды. 1 048 576 токенге дейінгі контекст үлкен құжаттарды бөліктерге бөлмей, толығымен жүктеуге мүмкіндік береді.
Бір жауапта модель 131 072 токенге дейін бере алады — бұл тұтас техникалық құжаттың немесе үлкен тараудың көлемі. Мұндай қор үлкен тапсырманы бөліктерге бөлмеуге және бір өтуде байланысты мәтін алуға жеткілікті.
Иә, жауап берер алдында пайымдауларға қолдау көрсетіледі — модель деректерінде бұл тармақ белгіленген. Ол алдымен тапсырманы қадам бойынша талдап, содан кейін дайын нәтижені бере алады. Бұл есептеу реті маңызды болатын көп сатылы сұрақтарда және кодты талдау кезінде көмектеседі.
Иә, функцияларды шақыру және JSON форматында құрылымдалған шығару қолданылады. Бұл модельді қосымшаға немесе автоматтандыру сценарийіне енгізуге болатынын білдіреді: ол сіздің кодыңыз қабылдайтын белгілеуде жауап қайтарады. Құжаттардан деректерді алу және сұраныстар тізбегін құру үшін ыңғайлы.
Иә, кіріс ретінде кескіндер мен құжаттарды беруге болады: модель файлды оқып, оның мазмұны бойынша жауап береді. Бұл есептерді, кестелерді және скандарды талдау үшін ыңғайлы. Аудио мен видеоны қабылдау біздің деректерімізде көрсетілмеген — бұл сәтті сатып алмас бұрын бөлек нақтылаған жөн.
Біздің деректерімізде модельдің орыс тіліндегі жауаптарының сапасын бағалау жоқ, сондықтан нақты ештеңе уәде ете алмаймыз. Модель әртүрлі тілдердегі мәтінмен жұмыс істейді, бірақ орыс стилистикасын қаншалықты сенімді ұстайтынын өз тапсырмаларыңызда тексерген дұрыс: одан мәтініңізді қайталап айтып беруді немесе редакциялауды сұрап көріңіз.