AIチャットボット性能を比較：Chatbot Arenaリーダーボード

AIチャットボットの世界は急速に拡大しており、新しいボットが次々と登場しているため、最適な選択をするのが難しくなっています。そんな時、”Chatbot Arenaリーダーボード”が非常に役立ちます。

カリフォルニア大学バークレー校の学生と教授陣らが設立したLarge Model Systems Organization（LMSYS Org）は「Chatbot Arena」（チャットボット競技場）を作りました。

このリーダーボードは、様々なAIチャットボットの性能、ユーザーフィードバック、応答の質など、多角的な評価基準に基づいてランキングされています。ユーザーはこの情報を参考にして、自分のニーズに最適なチャットボットを簡単に見つけることができます。

AIチャットボットとは

AIチャットボットは、自然言語処理（NLP）技術を駆使して、人間の言葉を理解し、適切な応答を生成するシステムです。顧客サービス、教育、エンターテイメントなど、さまざまな分野で活用されています。AIチャットボットは24時間365日対応可能であり、多くの場合、人間の介入なしに自動で運用されます。

Chatbot Arenaリーダーボードのルール

以下翻訳となりますが、https://chat.lmsys.org/
こちらで、

「🏆 Arena Elo Leaderboard」は、500,000以上の人間の投票を集め、それを基にEloレーティングシステムを用いて、言語モデル（LLM）のリーダーボードを作成しています。このリーダーボードでは、参加したAIモデルの中で最も優れた性能を持つ「🥇LLMチャンピオン」を決定します。Eloレーティングシステムは、プレイヤー（この場合はAIモデル）の相対的なスキルレベルを評価するために広く使用されている方法です。

とのことで、対決したランキングが以下となります。

こちらで見ると、Claude 3 Opusが最も評価が高いようですね。また、ChatGPT4よりもコストが安いClaude 3 Haikuなども比較的上位に食い込んでおり、Claude 3 の品質の高さがうかがえます。また、Geminiもはいっているものの、やはり、ChatGPT4には及ばないようです。

今後も新サービス・アップデートは続きますが、都度こちらを確認してみるのは参考になるかもしれません。