Китайская компания Moonshot AI представила новую версию своей языковой модели — KimiK2, которая является открытым искусственным интеллектом нового поколения. Эта система ориентирована на работу с программным кодом и интеллектуальными агентами и, по мнению разработчиков, способна составить серьёзную конкуренцию таким технологическим лидерам, как Google и OpenAI.
Архитектура и технические особенности KimiK2
После некоторого снижения позиций в рейтингах, Moonshot AI вновь привлекла внимание специалистов благодаря разработке KimiK2. Эта модель основана на архитектуре Mixture-of-Experts и обладает масштабом в триллион параметров. При обработке каждого токена система активирует 32 миллиарда параметров, что позволяет достичь высокой производительности при разумном расходе ресурсов.
В модели задействованы 384 «эксперта», из которых для каждого токена активируются восемь. Чтобы справиться с нестабильностью логитов, инженеры внедрили специальный оптимизатор MuonClip, благодаря чему удалось успешно обучить модель на наборе данных объёмом 15,5 триллионов токенов.
Варианты модели и её функционал
KimiK2 доступна в двух версиях. Базовая версия предназначена для исследовательских целей, а версия Instruct разработана для общения, работы с агентами и решения повседневных задач. Главное отличие последних — усовершенствованная логика агентов. Например, Kimi-Researcher обладает возможностью искать и сравнивать информацию в интернете, выполнять сложные многошаговые задачи и принимать решения вне шаблонных сценариев.
Результаты тестирования и конкурентоспособность
В ходе тестов KimiK2 продемонстрировала уверенное превосходство в областях математики и программирования, превзойдя такие модели, как GPT-4 и Claude Sonnet 4. В настоящее время это один из самых мощных открытых ИИ-инструментов, доступных со свободным исходным кодом.
