Llama 3とは何ですか？初心者のためのステップバイステップガイド [2024]

Llama 3に会いましょう — Metaが作成したオープンソースの大規模言語モデル（LLM）で、生成AI市場を揺るがし、さまざまなユースケースをサポートできます。このガイドでは、それが何であるか、そしてそれがあなたの働き方をどのように変えることができるかを探ります。

‍

生成的人工知能（AI）の世界は、今後数年間で成長することが予測されており、2032年までに1.3兆ドルの収益に達するとされています。このブームで、多くの企業が最高のLLMを構築するために競争しているのも不思議ではありません。

Metaも例外ではありません。 2024年4月にMetaはLlama 3を発表しました。これは革新的で強力なLLMであり、他の競合の新しい品質基準を設定しています。このAIモデルが他のツールと異なるのは、オープンソースであり、膨大なデータセットでトレーニングされていることです。

ですが、もうこれ以上時間を無駄にするのはやめましょう。この記事を読み進めて、Meta Llama 3が何であるか、その主要な機能とユースケース、そしてもっと多くを探りましょう。

Meta Llama 3とは何ですか？

Llama 3は、自然な言語での質問応答、コードの記述、アイデアのブレインストーミングなど、さまざまなユースケースに対応するために設計されたMeta AIの最新のLLMです。

このAIアシスタントは膨大な量のトレーニングデータでトレーニングされているため、文脈を理解し人間のように応答することができ、コンテンツの作成や情報提供に役立ちます。

Llama 3は、他のLlamaモデルとは異なり、80億または700億パラメータを持つ事前トレーニングと指示の微調整があり、コード生成や要約など、複数のタスクに最適です。

このオープンソースモデルは、Hugging Face、Microsoft Azure、NVIDIA NIM、AWS、Google Cloudでも無料で利用可能です。

では、これが以前のバージョンと異なるのは何でしょうか？さて、見てみましょう。

Llama 3はLlama 2とどう違うのか？

Llama 3はLlama 2よりも優れているのは何ですか？それほど違わないはずです、ね？

まず第一に、MetaのLlama 3には15兆トークンのデータセット（より効率的な言語エンコードとより良いパフォーマンスを可能にする）があり、これは以前のモデルよりも7倍大きいです。

Llama 3のトークナイザーは128,000トークンをサポートしており、他のLlamaバージョンよりも優れた精度、推論、信頼性を提供します。

さらに、Metaによると、彼らは4倍のコードを含め、30の言語を網羅しています。彼らはまた、Llama 3が生成する可能性のある不具合のあるコードをキャッチするためのガードレールであるCode Shieldも追加しました。結論として、Llama 3はLlama 2と同じトランスフォーマーアーキテクチャを持っていますが、古い世代よりも優れており、効率的です。

結論として、Llama 3はLlama 2と同じトランスフォーマーアーキテクチャを持っていますが、さらに優れていて効率的です。

Redditユーザーがこれについて言っていることは次のとおりです：

「これまで可能な限りの限られたテストからでも、70Bモデルが現在の 最高のオープンソースモデルであることがはっきりしています。」他のモデルサイズやより大きなコンテキストウィンドウが続くとすでに言われています。”

しかし、Llama 3がそれを行うのがとても得意なら、主な機能は何ですか？

問題ありません; 次のセクションでこのトピックを探ってみましょう。

Llama 3の主要な機能は何ですか？

Llama 3には、多くの人々を引きつける何かがあるに違いありません。結局のところ、Llama 3はClaude 3やChatGPTなどの他の競合を平均して15%超えで上回ります。では、何がLlama 3を優位にさせているのでしょうか？

その主な機能を見てみましょう。私たちが求めている答えを提供してくれるかもしれません：

パラメータモデル: MetaはLlama 3 70bと8bなどの2つのパラメータモデルを提供しています。この次世代LLMはこの分野でLlama 2を上回り、効率を高め、コード生成を改善し、実際のシナリオにおけるモデルのパフォーマンスを最適化します。
トレーニングデータセット: Llama 3を最高のモデルにするために、Metaは大規模で高品質なデータセットでトレーニングしました。公的なソースから15兆トークンを収集して、Llama 3は多言語の使用ケースに対応できるよう準備が整っています。 Metaは、NSFWフィルター、ヒューリスティックフィルター、品質分類器、およびセマンティック重複排除などのフィルタリングパイプラインを作成しました。
モデルアーキテクチャ: Llama 3はデコーダー専用のトランスフォーマーアーキテクチャを維持しますが、いくつかのアップグレードが含まれています。まず、Llama 3は言語をより効率的にエンコードし、パフォーマンスを大幅に向上させます。第二に、Llamaは2つのパラメータモデルの両方にグループ化クエリアテンション（GQA）を統合しており、推論効率を向上させています。
ポストトレーニングスケーリング: Metaは、HumanEvalベンチマークで評価されるコード生成などの重要なタスクに対するLlama 3のパフォーマンスを予測するための詳細なスケーリング法則を開発しました。さらに、Metaはエラー処理を自動化し、GPUの稼働時間を最大化するための高度なトレーニングスタックを開発しました。
指示の微調整:Metaの新しいポストトレーニングアプローチは、拒絶サンプリング、近接政策最適化（PPO）、および直接的な好み最適化（DPO）を組み合わせたものです。この組み合わせにより、プロンプトの質とLlama 3のパフォーマンスが向上します。

さて、これで情報が一気に提供されました。何か不明な点があれば、もう一度お読みください。 😉

もしあなたが次に進む準備ができているなら、Llama 3の主なユースケースを話し合いましょう。

Llama 3の主な使用ケースは何ですか？

記事の最初から、おそらく「Llama 3は何に優れているか？」と自問していることでしょう。このセクションがその答えを提供しようとします。

それで、Llama 3の最も一般的なユースケースは次のとおりです：

チャットボット: Llama 3は深い言語理解を持っているため、顧客サービスを自動化するのに使用できます。その結果、エージェントの時間を解放し、クライアントとの関係の改善に集中できます。顧客もあなたのブランドにもっと関与することを感じるでしょう。
コンテンツ作成: Llama 3を使うことで、記事やレポートからブログ、さらにはストーリーに至るまで、さまざまな種類のコンテンツを生成できます。このようにして、コンテンツ作成プロセスを効率化し、より多くの作品をより早く生み出します。
メールコミュニケーション: うまく言葉が見つからないときに、Llama 3はあなたのメールをドラフトし、毎回適切な応答を形成するのに役立ちます。これにより、すべてのコミュニケーションチャネルで一貫したブランドトーンを維持します。
データ分析レポート:あなたのビジネスがどのように機能しているかを確認する必要がある場合、Llama 3はあなたの発見（および長文）を要約し、データを用いた視覚的に魅力的なレポートを生成しますので、より良い判断ができるようになります。
コード生成: これは記事全体で何度も言及してきましたが、Llama 3の主な使用ケースの1つです。その結果、開発者はコードスニペットを生成し、バグを特定できます。しかし、Llama 3はプロセスを改善するためのプログラムの推奨も提供します。

これがLlamaのユースケースについてのすべてです。

次に、セキュリティエコシステムについて話しましょう。

Llama 3のセキュリティエコシステムとは何ですか？

Llama 3はセンシティブなデータを扱っているため、この不安定なサイバー世界においてMetaはそのデータを安全に保つための堅牢なセキュリティ対策を実施することが要求されます。

Llama 3エコシステムが、より安全に使用できるようにするために採用しているのは次のことです：

Llama Code Shield – 要約すると、Code ShieldはLlamaが生成する不安定なコードを除外し、最終製品に含まれないようにします。基本的に、それは安全でないコードを分類しフィルタリングします。
Llama Guard 2 – このセキュリティ対策は、プロンプトや応答を含むあなたのテキストを分析し、それを「安全」または「安全でない」とマークします。MLCommons AI Safety Taxonomy基準を使用します。テキストが安全でない理由は、差別的、ヘイトスピーチ、暴力を含む記述によるものです。
CyberSec Eval 2 – CyberSec Eval 2の目的は、LLMがどれだけ安全であるかを測定することです。
torchtune – MetaのLlama 3はLLMの著作や実験を行うためにPyTorchネイティブライブラリを使用します。なぜですか？なぜなら、微調整のためのメモリ効率の良いトレーニングレシピを提供するからです。

この記事の理論セクションはこれで終了です。実用的に進みましょう。Meta AIを使用してLlama 3の使い方を学びましょう。