JetBrains は Mellum2 を紹介:120億パラメータのエキスパートの混合モデル
JetBrains は、自然言語処理およびコード処理における効率的な高スループット・ローカスラティエンス推論を目的とした 120 億パラメータのエキスパートミックスモデルである Mellum2 を発表しました。
JetBrains は、自然言語処理およびコード処理における効率的な高スループット・ローカスラティエンス推論を目的とした 120 億パラメータのエキスパートミックスモデルである Mellum2 を発表しました。
Mellum2 is a 12B-parameter Mixture-of-Experts model trained from scratch on natural language and code.
The model activates only 2.5B parameters per token, making it efficient for high-throughput, low-latency inference.
Mellum2 is a 12B-parameter Mixture-of-Experts model trained from scratch on natural language and code.
Today we’re releasing Mellum2, an open Mixture-of-Experts model optimized for low-latency text-and-code workloads. Mellum originally started as a code completion model. With Mellum2, we extend that foundation to a broader set of natural language and software engineering tasks wh…