Llama 3란 무엇인가요? 초보자를 위한 단계별 가이드 [2024]

Llama 3를 만나보세요 — Meta에서 만든 오픈 소스 대형 언어 모델(LLM)으로 생성 AI 시장에 혁신을 일으키며 다양한 사용 사례를 지원할 수 있습니다. 이 가이드는 이것이 무엇인지, 그리고 어떻게 그것이 당신의 작업 방식을 바꿀 수 있는지를 탐구합니다.

‍

생성적 인공지능(AI) 세계는 향후 몇 년 동안 성장할 것으로 예상되며, 2032년까지 1.3조 달러의 수익에 이를 것입니다. 이런 붐 덕분에 많은 기업들이 최고의 LLM을 만들기 위해 경쟁하고 있는 것은 놀라운 일이 아닙니다.

Meta도 마찬가지입니다. 2024년 4월, 메타는 혁신적이고 강력한 LLM인 Llama 3를 출시하여 다른 경쟁자들에 대한 새로운 품질 기준을 설정했습니다. 이 AI 모델이 다른 도구들과 구별되는 점은 오픈 소스이며 대량의 데이터 세트에 대해 훈련되었다는 것입니다.

하지만 더 이상 시간을 낭비하지 맙시다. 이 글을 살펴보아 Meta Llama 3가 무엇인지, 그 주요 기능 및 사용 사례를 탐구해 보시기 바랍니다.

Meta Llama 3란 무엇인가요?

Llama 3는 자연어 질문에 대한 응답, 코드 작성, 아이디어 브레인스토밍 등 여러 용도를 위해 설계된 Meta AI의 최신 LLM입니다.

이 AI 보조 도구는 방대한 양의 훈련 데이터를 바탕으로 훈련되어 인간과 유사하게 맥락을 이해하고 응답하는 데 유용하며, 컨텐츠 작성 및 정보 제공에 유용합니다.

Llama 3는 다른 Llama 모델과 달리 80억 또는 700억 개의 매개변수를 갖춘 사전 훈련 및 지침 세부 조정을 제공하여 코드 생성 및 요약 같은 다양한 작업에 적합합니다.

이 오픈 소스 모델은 Hugging Face, Microsoft Azure, NVIDIA NIM, AWS 및 Google Cloud에서도 무료로 제공됩니다.

하지만 이전 버전과 무엇이 다른지요? 한번 알아봅시다.

Llama 3는 Llama 2와 어떻게 다른가요?

Llama 3가 Llama 2보다 나은 점은 무엇인가요? 그녀들은 그렇게 다르지 않을 것입니다, 그렇죠?

우선, Meta의 Llama 3는 1500조 개의 토큰 데이터셋을 지원합니다 (더 효율적인 언어 인코딩과 더 나은 성능을 가능하게 하며), 이는 이전 모델보다 7배 더 큽니다.

Llama 3의 토크나이저는 128,000 토큰을 지원하여, Llama의 다른 버전들보다 더 강력하여 비할 데 없는 정확성, 추론 및 신뢰성을 제공합니다.

또한 Meta에 따르면, 그들은 4배 더 많은 코드를 포함하고 30개 언어를 다루었습니다. 그들은 또한 Llama 3가 생성할 수 있는 잘못된 코드를 감지하는 guardrail인 Code Shield를 추가했습니다.

결론적으로, Llama 3는 Llama 2와 동일한 변환기 아키텍처를 가지고 있지만, 더 좋고 더 효율적입니다.

여기 Reddit 사용자의 의견이 있습니다:

“지금까지 가능한 제한된 테스트만으로도 이미 70B 모델이 최고의 오픈 소스 모델이라는 것이 분명합니다.” 이와 같이 다른 모델 크기 및 더 높은 컨텍스트 창이 뒤따를 것이라고 이미 알려졌습니다.”

하지만 Llama 3가 그 분야에서 이렇게 훌륭하다면, 그 핵심 기능은 무엇인가요?

문제 없습니다. 다음 섹션에서 이 주제를 탐구할 수 있습니다.

Llama 3의 주요 기능은 무엇인가요?

Llama 3에는 많은 사람들을 끌어들이는 무언가가 있어야 합니다. 결국 Llama 3는 Claude 3이나 ChatGPT와 같은 다른 경쟁자를 평균 15% 이상 뛰어넘습니다. 하지만 무엇이 Llama 3에게 유리한가요?

주요 기능을 살펴보면, 찾고 있는 답을 제공할 수 있습니다:

매개변수 모델: 메타는 Llama 3 70b 및 8b와 같은 두 가지 매개변수 모델을 제공합니다. Llama 2를 능가하며, 이 차세대 LLM은 효율성을 높이고, 코드 생성을 개선하며, 실제 시나리오를 위한 모델 성능을 최적화합니다.
훈련 데이터 세트: Llama 3를 최고의 모델로 만들기 위해 Meta는 대규모 고품질 데이터 세트에서 훈련했습니다. 15T 토큰 이상을 공공 출처에서 수집하여 Llama 3는 다국어 사용 사례에 잘 준비되어 있습니다. 메타는 NSFW 및 휴리스틱 필터, 품질 분류기 및 의미론적 중복 제거와 같은 필터링 파이프라인을 만들었습니다.
모델 아키텍처: Llama 3는 디코더 전용 변환기 아키텍처를 유지하지만 여러 가지 업그레이드를 제공합니다. 우선, Llama 3는 언어를 더 효율적으로 인코딩하여 성능을 현저하게 향상시킵니다. 둘째, Llama는 두 개의 매개변수 모델 모두에서 그룹 쿼리 주의(GQA)를 통합하여 추론 효율성을 높입니다.
포스트 훈련 스케일링: Meta는 Llama 3의 성능을 예측할 수 있는 상세한 스케일링 법칙을 개발했습니다. 주요 작업을 위한 HumanEval 벤치마크에서 코드 생성 및 평가됩니다. 게다가 Meta는 오류 처리의 자동화 및 GPU 가동 시간을 극대화하는 고급 훈련 스택을 개발했습니다.
지침 세부 조정: Meta의 새로운 사후 훈련 접근 방식은 거부 샘플링, 인접 정책 최적화(PPO), 직접 선호 최적화(DPO)를 혼합한 것입니다. 이 조합은 프롬프트의 품질 및 Llama 3의 성능을 향상시킵니다.

좋습니다. 이제 정보가 범람했습니다. 정확히 말하고 싶은 내용이 불분명하다면 다시 읽어보세요. 😉

이제 준비가 되었다면 Llama 3의 주요 사용 사례에 대해 이야기해 보겠습니다.

Llama 3의 주요 사용 사례는 무엇인가요?

기사의 시작부터 아마도 스스로에게 물어보았을 것입니다. “Llama 3는 실제로 무엇을 잘하나요?” 이것이 이 섹션에서 답하려는 것입니다.

자, Llama 3의 가장 흔한 사용 사례는 다음과 같습니다.

챗봇: Llama 3는 깊은 언어 이해력을 갖추고 있어, 고객 서비스 자동화에 사용할 수 있습니다. 그 결과, 당신의 에이전트가 클라이언트와의 관계 개선에 집중하도록 시간을 절약할 수 있습니다. 고객들도 귀사의 브랜드에 더 몰입감을 느낄 것입니다.
컨텐츠 생성: Llama 3를 사용하면 기사, 보고서, 블로그 및 심지어 이야기까지 다양한 유형의 콘텐츠를 생성할 수 있습니다. 이렇게 하면 콘텐츠 작성 프로세스를 간소화하고 더 빠르게 더 많은 내용을 생산할 수 있습니다.
이메일 소통: 언제든지 단어를 찾지 못하고 막힐 때, Llama 3는 이메일 초안 작성과 정확한 답변을 만드는 데 도움이 될 수 있습니다. 이렇게 하면 모든 커뮤니케이션 채널에서 일관된 브랜드 톤을 유지할 수 있습니다.
데이터 분석 보고서: 귀하의 비즈니스 성과를 볼 필요가 있다면, Llama 3는 연구 결과(긴 문서 포함)를 요약하고 데이터를 바탕으로 시각적으로 매력적인 보고서를 생성하여 더 나은 의사 결정을 내릴 수 있도록 도와줍니다.
코드 생성: 이를 기사 전반에 걸쳐 여러 번 언급했습니다. Llama 3의 주요 사용 사례 중 하나입니다. 그 결과, 개발자는 코드 조각을 생성하고 버그를 식별할 수 있습니다. 하지만 Llama 3는 프로세스를 개선하기 위해 프로그래밍 추천도 제공합니다.

이것이 Llama의 사용 사례에 대한 모든 것입니다.

앞으로 나아가 그 보안 생태계에 대해 이야기해 보겠습니다.

Llama 3의 보안 생태계는 무엇인가요?

Llama 3는 민감한 데이터를 다루기 때문에, 이러한 불안정한 사이버 세상에서 메타는 이러한 데이터를 안전하게 유지하기 위한 강력한 보안 조치를 시행하는 데 집중했습니다.

Llama 3 생태계에서 제공하는 안전한 사용을 위한 조치들은 다음과 같습니다:

Llama 코드 쉴드 – 간단히 말해, 코드 쉴드는 Llama가 생성하는 불안전한 코드를 제외하여 최종 제품에 포함되지 않도록 합니다. 기본적으로 불안전한 코드를 분류하고 필터링합니다.
Llama 가드 2 – 이 보안 조치는 프롬프트와 응답을 포함한 텍스트를 분석하고, MLCommons AI 안전 분류법에 따라 이를 “안전” 또는 “위험” 으로 표시합니다. 텍스트를 위험하게 만드는 것은 차별, 증오 발언 또는 폭력의 내용을 포함하는 설명입니다.
CyberSec Eval 2 – CyberSec Eval 2의 목적은 LLM이 얼마나 안전한지를 측정하는 것으로, 공격적인 사이버 보안 기능, 프롬프트 주입 평가에 대한 취약성, 코드 해석기의 악용을 측정합니다.
torchtune – Meta의 Llama 3는 LLM을 작성하고 실험하기 위해 PyTorch 고유의 라이브러리를 사용합니다. 왜요? 메모리 효율적인 훈련 레시피를 제공하기 때문입니다.

이제 기사의 이론 부분이 끝났습니다. 이제 실용적인 방법을 배우고 Meta AI를 사용하여 Llama 3를 사용하는 방법을 알아봅시다.