Meta「Muse Spark Open」の重みを公開　M5 Ultra Mac Studio 2台で動作

Muse Spark Openはどんなモデルか

Metaによると、Muse Spark Openはネイティブなマルチモーダルモデルです。総パラメータ数は8160億（816B）で、そのうち実際に動くのは420億（42B）です。コンテキストウィンドウは100万トークンです。

同社はこのモデルを、コーディングとエージェント作業向けに作ったと説明しています。得意分野として、長い時間をかけて進めるタスク、複雑なソフトウェア開発、何段階もの推論を挙げています。

iClarifiedの報道によると、このモデルはmixture-of-experts（専門家混合）という構成を採っています。処理のたびにネットワーク全体を使うのではなく、総パラメータ8160億のうち420億を選んで使う仕組みです。

M5 Ultra Mac Studio 2台で動かす仕組み

Metaは、Muse Spark Openを「このクラスで初めて、Apple M5 Ultra搭載のMac Studio 2台と最新のMLXで手元のデスクトップで動くモデル」と紹介しています。MLXの最新版を使い、M5 Ultra搭載のMac Studio向けに最適化したとしています。

Metaの説明では、Appleのユニファイドメモリ構造のおかげで、M5 Ultraの内蔵GPUはMac Studio 1台につき最大512GBのメモリを使えます。このため2台あればモデル全体を載せられます。M5 Ultraのメモリ帯域は1.2TB/sあり、トークンを1つ作るたびに必要になるモデルのごく一部を、十分な速さで読み出せるとしています。同社はこの組み合わせを「2台のMac Studioが、1テラバイトのユニファイドメモリを持つ1台のスーパーコンピューターのように動く」と表現しています。

iClarifiedの報道によると、4bitに圧縮した版でもモデルだけで約493GBあり、動かすための追加メモリも必要です。そのため512GBのMac Studio 1台には収まらず、2台構成になっています。報道では、最新のMLXはM5のGPUに載るNeural Acceleratorsを使い、Thunderbolt 5でつないだ複数のMacに処理を分けるとしています。Appleは技術解説の中で、マシン間のデータ転送にRDMA（リモートダイレクトメモリアクセス）を使い、遅延を抑えていると説明しているということです。デモには、Appleが10月下旬に出すと発表したメモリ最大構成のMac Studioが使われたと報じられています。

Appleが公表した生成速度

iClarifiedによると、AppleはMac 2台構成と4台構成でのベンチマークを公表しています。計測に使ったのは4bit版のモデルで、コンテキスト長は8,192トークン、1回のテストで128トークンを生成する条件です。ベンチマークでは、Macを2台ずつThunderbolt 5ケーブル2本でつないでいました。

報道で伝えられた生成速度は次のとおりです。

・Mac 2台、パイプライン並列：毎秒15.74トークン ・Mac 2台、テンソル並列：毎秒24.99トークン ・Mac 4台、テンソル並列：毎秒36.73トークン

パイプライン並列は、モデルをいくつかの区間に分けて別々のMacで動かす方式です。テンソル並列は、1つの層の中の計算を複数のMacで分け合う方式です。報道によると、このテストではテンソル並列のほうが速く、2台で毎秒約25トークン、4台で毎秒約37トークンでした。これらの数値は上記のコンテキスト長でのテキスト生成速度です。

手元のマシン上で試したエージェント作業

Metaは、Muse Spark Openを使う「Muse Code」で、いくつかのエージェント作業をすべてマシン上で動かして試したとしています。

1つ目は、オープンソースのMastodonクライアント「Ice Cubes」のiOSアプリに、実際に変更を加える作業です。バグ修正、新機能の追加、フルビルドまでを行いました。

2つ目は、「DaVinci Resolve」を最初から最後まで操作する作業です。Metaによると、モデルが映像を1フレームずつ見て見どころを探し、縦長に切り出しています。

入手方法・対応環境・ライセンス

Muse Spark Openは公開当日から使えます。APIでは、Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter、Together AIで利用できます。モデルの重みは、Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face、Microsoft Foundry Modelsからダウンロードできます。Apple silicon上で動かすときは、Hugging Faceから重みを直接取り込むMLXを使います。Mac Studioで動かすためのMLXアダプタも用意されています。

対応する推論エンジンは、SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、Apple MLX、llama.cpp、Unslothです。AMD、Apple、Intel、NVIDIAのシリコン向けに最適化されています。SGLangには自動調整できる独自のHelion GPUカーネルが入っています。Metaによると、NVIDIAとAMDのGPUでカーネル単位で1.03〜3.95倍の高速化、AMD MI350ではエンドツーエンドで3%の高速化を実現しました。用途に合わせて調整したい場合は、PyTorchのTorchTitanを使って追加の学習ができます。

安全面について、Metaはオープンウェイト向けに追加の安全性ポストトレーニングを施したとしています。同社の「Meta Superintelligence Scaling Framework」に沿って最も深刻なリスクを評価し、公開に必要な基準を満たしたと説明しています。詳しい結果はモデルカードに載っており、評価レポートの全文も近く公開する予定です。

ライセンスは「Muse Model License」です。Metaによると、商用利用には一部条件がありますが、多くの開発者は無料で使えます。