GPT-4より賢いと言われる「Claude 3」でいろいろ試した

OpenAIのChatGPTがAIへの注目度を高め、そこにMicrosoft CopilotやGoogle Gemini(Bard)が追従するような流れのなか、新興勢力としてAnthropicの「Claude」(クロード)が立ち上がってきた。

2024年3月に発表された最新版の「Claude 3」では、あらゆる処理・理解能力においてChatGPTやCopilotが採用するGPT-4を上回るとアピールしている。「Claude 3」が一体どういうもので、実力はどれほどのものなのか、実際の使い方も含めてチェックしてみよう。

性能の異なる3つのモデルをもつ「Claude 3」

「Claude 3」は、ユーザーからの質問や指示に対して文章で応答することができる大規模言語モデル。ChatGPTなど他のAIチャットと似た形で利用できるものだ。いわゆるマルチモーダルに対応しているため、テキスト入力だけでなく画像やPDF、Word文書、表データ(CSV)などをアップロードし、それを元にした分析も可能になっている。

ChatGPTにGPT-3.5やGPT-4といった性能の異なるモデルがあるが、Claude 3では同世代で性能の異なる3つのモデルが存在している。能力順に「Opus」「Sonnet」「Haiku」と呼ばれており、このうちGPT-4を超えるとされているのが最上位のOpusだ。

Claude 3には、能力別に「Opus」「Sonnet」「Haiku」の3種類のモデルが用意されている

Opusが「高度なタスクにおいて最先端のパフォーマンスを発揮し、人間らしい理解力をもつ」のに対し、Sonnetは「インテリジェンスとスピードを両立したモデル」、Haikuは「応答速度重視の、最も高速でコンパクトなモデル」という区分け。SonnetとHaikuについても、全ての性能指標でGPT-3.5を超え、部分的にはGPT-4を上回っているところもあるとしている。

制限の少ない有償版も用意 強みはコンテキスト長

ChatGPTに無償版と有償版のPlusがあるのと同じく、Claudeにも無償版に加えて有償版となる「Claude Pro」が用意されている。無償版では利用できるモデルがSonnet固定となっており、OpusやHaikuを利用したい場合は有償版に加入する必要がある。

また、Claude Proのユーザーになることで、混雑時でも優先的に処理を受け付け、利用上限(チャットでやり取りする文章量や回数など)も無償版の5倍以上を確保できるとしており、さらには新機能をいち早く試せることもあるようだ。月額料金は20ドル(約3,000円)で、ChatGPT Plusと変わらない値段設定になっている。

Opusが利用可能な「Claude Pro」は月額20ドル

Claude Proでは3種類のモデルを選択することが可能

AIモデルとしてのスペックを見てみると、Claude 3が一度に扱える文章の長さ(トークン数)は、3種類どのモデルにおいても4,096。ここはGPT-4(最大約3万2,000)と比べてやや弱く感じられるところではある。

一方で、前後の文脈を記憶できる長さに関係するコンテキスト長は、Claude 3が20万(GPT-4は最大12万8,000)とかなり大きい。ワード数にして15万にも及ぶため、プログラムのコード生成など、連続的にやり取りし続ける場合の効率や精度は高くなりそうだ。

利用方法はWeb、もしくはAPI

現在のところClaudeのチャットインターフェースはWebで提供されており、パソコンとスマートフォンのどちらでもWebブラウザからアクセス可能。日本語を含む多言語に対応する。APIも公開されているので、Claudeの機能を自作プログラムから呼び出して利用することも可能だ。

PCのWebブラウザからアクセスしたサービストップページ

スマートフォンからアクセスしたサービストップページ

ただし、マルチモーダル対応で画像分析にも秀でているとしているものの、ユーザーへの返答は基本的にテキストだ。アップロードした画像を対象に分析することはできても、画像の生成は不可となっている。

それ以外には、Google スプレッドシートからClaude(のAPI)を利用するためのアドオンが提供されている。競合が備えているプラグインや拡張機能、GPTsのような外部サービスと簡単に連携可能にする機能はなく、似たものを実現するには今のところAPIを駆使して自力実装するしかなさそうだ。

Google スプレッドシート内からClaudeのAPIを呼び出せるアドオンを提供している

画像分析、コーディング、文章作成などを試す

Claude 3は具体的にどんな感じで利用できるのだろうか。ここではOpusのモデルで、実際にいくつかのプロンプトを試してみた。ClaudeのWebサイト(https://claude.ai/)にアクセスしてアカウントを作成すれば、誰でも無料で使い始められるので、ぜひみなさんも試してみていただきたい。

ちなみに、トップページで利用方法のヒントが表示されているほか、「プロンプトライブラリ」というものも公開されている。プロンプトライブラリは開発者向けではあるが、これらを参考にすることでClaudeでどんなことができるのかがある程度把握できるだろう。

開発者向けに公開されている「プロンプトライブラリ」

Prompt library

テキスト分析・処理の例

まずは小手調べということで、記事の要約をして、さらに英語に翻訳してみる。Claude 3は今のところインターネットアクセスには対応しておらず、プロンプトにURLを含めてもエラーが出るか無視されてしまうため、記事のテキストを直接貼り付けるなどしなければならない。が、ある程度長文のテキストをコピー＆ペーストすると、プロンプトに挿入されるのではなく、テキストデータが添付される形になる。

長文テキストをペーストするとテキストデータが添付される形に

なので、いちいちテキストファイル化してアップロードする手間がかからないし、プロンプトが長くなってチャット全体が見にくくなることもない。ここはなかなかスマートで、気が利いている部分だ。要約の結果は、ChatGPTによる要約よりもきれいにまとまっているようで、本文の意図に近いと感じる。翻訳後の文章も原文に忠実な印象だ。

ただ、文字数指定はあまりあてにならない雰囲気ではある。

要約された文章。「800文字前後で」と指示したが、数えてみると360文字余り、バイト数換算しても合わなかった

英語に翻訳してもらった結果

画像分析の例

次は画像分析。1つ目の画像は風景写真について詳細に解説するように指示したもので、写真の内容を正確に捉えたうえで、建物などの特徴からオランダであることも言い当てた。まさにここはオランダ北部にあるヒンデローペンという街(村)だ。

風景写真について説明させてみると、オランダであることを見事に言い当てた

2つ目の画像は、紙書類をスマホのカメラで撮影したもの。文字起こしを指示したところ、書類内容から判断したのか、いったんは個人情報が含まれている可能性があるとして概要のみ回答した。が、個人情報につながりそうな部分を削除済みであることを伝えると文字起こししてくれた。ごく一部に前後の文脈から想像で文字起こしして誤認識につながっている箇所もあるようだが、それを除けばほぼ完璧に読み取っている。

最初はプライバシーに関わる情報が含まれている可能性を指摘してきたが、削除済みであることを伝えると文字起こししてくれた

元の紙書類(左)と比べると、数カ所に誤認識が見られる以外は改行位置も含めほぼ完璧に読み取っている

プログラムコーディングの例

Claude 3はWordファイルの読み込みに対応している(Excel、PowerPointには対応していない)。Webサイトのラフについて、Word上で雑に文字情報で指示したものをアップロードしHTMLの生成を指示したところ、基本的なHTMLとCSSのコードを出力してくれた。画像生成はできないのでそのあたりはユーザー側で対応する必要はあるが、デザインの基礎すら知らなくてもWebサイト制作がある程度こなせそうだ。

Wordで作成したざっくりすぎるWebサイトのラフ

それでもHTMLとCSSのコードをきっちり出力した

生成されたコードを保存してWebブラウザで開いた。基本レイアウトは想像していた通り

次に、OpenAIのAPIを用いて音声から文字起こしするPythonのコードを読み取らせ、変数の中身などがメンテナンスしやすくなるようコードの改善を指示してみた。これについても、ユーザーの狙いを的確に把握したうえでコードを修正。そのままコピー＆ペーストして実行してみたところ、一切エラーが出ることもなく問題なく処理できた。

Pythonコードの改善を要求

指示の通りに改修され、エラーなしで実行できた

競合にない特徴を打ち出せるかが今後の鍵に？

テキスト生成や画像分析などにおいて、リリース当初からその実力が評価されてきたClaude 3だが、軽く触れてみただけでも、噂にたがわぬ性能の高さを感じられる。自然な文章生成、画像から文字を読み取るOCR精度の高さ、正確なコード生成などによって、一般的なユースケースでも価値を実感できるように思う。

反面、AIサービスとしてできることはまだ多くない。ライバルがすでに実現している画像生成や(外部連携による)楽曲生成、インターネットアクセスなどには未対応で、用途が限られるのも事実だ。今はまだAI性能の高さが話題になりがちな段階だが、いずれ各社のAI性能が拮抗すれば、そのサービス「ならでは」の部分が重要になってくる。Claudeが今後どんな特徴や強みを打ち出していくのか、という点に注目していきたい。