Claude-3とCommand-R-plusの衝撃！（と、おまけにLlama-3も）
毎年、年度末になると予算消費のためにあちこちでやたらと道路を掘り返す公共工事がどっと増えるが、まさか同じ理由ではあるまいな。３月にLLM（Large Language Model、大規模言語モデル、まぁChatGPTのモデルみたいなやつね）関係の新しいモデルがボコボコ出てきて「こりゃエライコッチャ」と思っていたのだけど、４月になってもその勢いが続いていて、もう通年年度末的様相を呈してきてるわ。
（……ここまでは単なる愚痴なんで無視してOK）
2023年末にGoogle Geminiが発表され、「もう2024年はGeminiの年に決まりだな」なんて思っていたのだけど、そんな単純な話ではなかった。Geminiは、今や「LLMの最高峰」からずり落ちかかっている、ような気がする。
2023年末では、LLMの目標は「GPT-4に匹敵する性能」だった。それが気がつけば「GPT-4を上回るのは当たり前」になりつつある。なんなんだこの進化のスピードは。2024年４月現在、LLMの頂点に立っていると言えるのは以下のモデルだろう。
GPT-4
言わずと知れた、OpenAIのLLM。有料版のChatGPTやWindows Copilotで使われている。ある意味、「これを超えるかどうか」が新たなLLMの一つの基準となっている。
Claude-3
Anthropic社が新たにリリースしたLLM。昨年にClaude-2.1が出たばかりなので、まさかこんなに早く３が出るとは思わなかった。Anthropicは、OpenAIからスピンアウトした人たちが作ったスタートアップ。OpenAIの経営方針の変化に賛同できず、「責任あるAI利用」を掲げてLLM開発を行っている。
Claude-3は、軽量のHaiku、スピードと性能のバランスを取ったSonet、最高峰のOpusがある。このOpusは、多くの評価サイトでGPT-4を上回っているという評価を得ている。
それよりも、実は一番驚愕したのは、最軽量版のHaikuだ。デベロッパー向けのプレイグラウンドやAPIで使ってみたのだけど、恐るべきはその速度。あっという間に応答が出力される。品質も、他のモデルと比べてもそんなに劣っているようには見えない。多くのAIチャットが、タラタラとテキストを垂れ流すのを我慢して待っているののに比べ、Haikuはほとんど瞬時に応答が返る。これはすごい。すごすぎる。
Claude-3は、もちろん日本語対応。チャットサービス（https://claude.ai/chats）ですぐに使える。
Command-R-plus
ここに来て、いきなりとんでもない伏兵が出てきた。Cohereというカナダのスタートアップが開発する「Command」の最新版「Command-R-plus」というLLMが突然公開されたのだ。これはほぼGPT-4に匹敵する性能を実現しており、部分的にはGPT-4を上回るところもあるという。
このCommand-R-plusが世界に衝撃を与えたのは、こいつが「オープンソースとして公開された」という点だろう。GPT-4もClaude-3もGoogle Geminiも、商業ベースで開発されているLLMはすべてプロプライエタリモデルであり、非公開だ。どんなことをやっているのか、それは完全に企業秘密であり、絶対に外部には知られないようにしていた。
それが、こいつはオープンソースとして公開し、被商業利用に限り誰でも無料で利用できるようにしたのだ。GPT-4に匹敵するLLMが、無料公開。モデルサイズはもっとも小さなものでも13GB以上あり、一定レベル以上のGPUとおそらく24GB以上ぐらいのメモリがないと動かないと思うが、それでも普通のパソコンで動いてしまうのだ。最上位のモデルになれば、まぁ100GBぐらいのメモリが必要だろうが、それでもGPT-4に匹敵するLLMがパソコンで動くなんて、ありえないだろ。
Cohereは、Googleで現在のLLMの基盤となっているトランスフォーマーという技術を開発した連中がスピンアウトして作った会社だ。いわば、今のLLMの技術は彼らが作ったとも言えるわけで、現在出回っているLLMの技術を知り尽くしている連中なわけだ。前からCohereの名前は聞いていたが、いきなりトップに躍り出てくるとは思ってなかった。
Command-R-plusは、もちろん日本語に完全対応。Cohereのサイト（https://cohere.com/）でアカウント登録すれば、プレイグラウンドで利用できるようになる。
Gemini
そして現在、この３大LLMにかろうじてついていってるのがGoogleのGeminiだろう。実際、普段はGeminiのお世話になることが多いのだけど、けっこう細かなところでChatGPTの無料版（GPT-3.5ベース）にも劣るような応答をすることもあって、少々化けの皮が剥がれかかってきている気がする。GeminiのチャットサービスはGemini Proなわけで、Ultraならもっとすごいんだろうけど、正直、ここまでいろいろLLMが出てくると、有料でUltraを使う気になれなかったりする。
Geminiの最大のウリは「最初からマルチモーダル」という点なわけで、無料のGeminiチャットでもっとそのへんをアピールして欲しい。未だに日本語ではイメージ生成できないし（imagen2の連係は英語圏に限定されてるみたい）、もっと気張りや。
これら現時点での最高峰LLMの戦いは、どうなるのか。チャットサービスでのシェアという点では、おそらくChatGPTの天下はまだまだ続くだろう。それはGPT-4の優秀さではなく、GPT-3.5の優秀さ故だ。無料版はGPT-4が使えないのだけど、実はほとんどの人は無料版で一つ前のGPT-3.5を利用するだけで満足している。これで十分だ、と考える人のほうが圧倒的に多いんだよね。
ただし、いつまでも安泰とはいえないだろう。これからClaude-3が着実に伸びてくると思う。こいつは、無料版のチャットでは一番軽量のHaikuが使われているんだけど、これで十分使える（ただ、無料チャットだとHaikuの驚愕するほどのスピードがあまり感じられないのは残念）。
じゃあ、Command-R-plusは？ こいつは、オープンソースの世界で急速に広まっていくだろう。オープンソースのトランスフォーマーモデルのプラットフォームであるHugging Face（https://huggingface.co/）のモデルハブを見ると、4月15日時点でCommand-R-plusはトレンドランキングでブッチギチにトップを走っている。こいつは非商業利用だが、当然Cohereと契約すればこいつをベースに独自のLLMを開発して商業利用できるわけで、大枚はたいて一からLLMを作るのに比べれば圧倒的に時間もコストも節約できる。
このCommand-R-plusにより、今後、猛烈な勢いで高性能なLLMが登場することになるだろう。これに泡を食ってるのは、プロプライエタリモデルを開発しているOpenAIやGoogleではないか。自分たちが膨大な費用をかけて開発したLLMと同レベルのものが無料公開され、簡単に利用できるようになってしまったんだから。
ともあれ、もう今年のはじめの予想は全く通用しないほどにLLMの世界は変容してしまった。それは多分、いいことなんだろう。
※追伸
この記事を書いて数日。今度はMetaがLlama-3を出しやがった。こいつもGPT-4に匹敵するという報道があるが、Hugging Face経由で試してみた感じでは、まだまだという感じだった。英語ならかなりいい感じだが、しかし英語以外は全滅だ。ただ、見るべき点はそこじゃない。「GPT-4に近いかも知れない（？）LLMが、またオープンソースで出てきた」って点だ。
Llama-2は実用には程遠かったが、Llama-3は十分実用レベルに達している。早速、Meta AIというサービスでFacebookやInstagramユーザを取り込もうとしてる。Meta AIはサービスとして急速に成長するかも知れない。だが、重要なのはそこじゃない（またかよ）。Meta AIレベルのサービスを実現するLLMが、これからどんどん出てくるってことだ。
なにしろ、現在オープンソースで出てきてるLLMの半分ぐらいは、Llama-2をベースにして拡張してる。これらを作ったところは、当然、Llama-3ベースのものを作るだろう。それらはすべてGPT4（まではいかないとしても、現在ChatGPT無料版で使ってるGPT-3.5）はらくらくクリアする性能となるはずだ。そういう時代がまさに到来しつつある。すげぇ。
