ウェブサイト検索

A4000 GPU で Gemma 2 を実行する


導入

人工知能 (AI) は世界最大の問題のいくつかを解決できますが、それは誰もがそれを使用できるツールを持っている場合に限られます。 2024 年 6 月 27 日、AI テクノロジーの大手企業である Google は、軽量で高度な AI モデルのセットである Gemma 2 9B および 27B を発売しました。これらのモデルは、有名な Gemini モデルと同じテクノロジーで構築されており、より多くの人が AI にアクセスできるようになり、AI の民主化における重要なマイルストーンとなります。

Gemma 2 には、90 億 (9B) パラメーターと 270 億 (27B) パラメーターの 2 つのサイズがあり、コンテキスト長は 8K トークンが付属します。 Google は、このモデルのパフォーマンスが最初の Gemma モデルよりも優れており、効率的であると主張しています。 Gemma 2 には、必要な安全性の改善も含まれています。 27B モデルは、そのサイズの 2 倍のモデルと競合するほど強力であり、単一の NVIDIA H100 Tensor コア GPU または TPU ホスト上で実行できるため、コストが削減されます。

これにより、参入障壁が軽減され、Gemma 2 のような高度なモデルが可能になり、人工知能の包括的かつ加速された進歩が可能になり、AI が民主化されます。

前提条件

  • ハードウェア: 十分な VRAM (16 GB を推奨) を備えた NVIDIA A4000 GPU を搭載したシステム。
  • ソフトウェア: GPU と互換性のある CUDA Toolkit (11.7 以降)、cuDNN、および NVIDIA ドライバー。
  • 環境: Python 3.8 以降、GPU サポートがインストールされた PyTorch。
  • 依存関係: Gemma 2 リポジトリから pip install -rrequirements.txt を使用して、必要なライブラリをインストールします。

軽量モデルの必要性

軽量 AI モデルは、高度なテクノロジーをよりアクセスしやすく、効率的で、費用対効果が高く、持続可能なものにするために不可欠です。さまざまなアプリケーションが可能になります。さらに、これらのモデルはイノベーションを推進し、世界中のさまざまな課題に対処します。

軽量モデルがさまざまな分野で不可欠である理由はいくつかあります。

  • 速度: サイズと複雑さが軽減されているため、軽量モデルは推論時間が短縮されることがよくあります。これは、ビデオ分析、自動運転車、オンライン推奨システムなどのリアルタイムまたはほぼリアルタイムのデータ処理アプリケーションにとって非常に重要です。
  • 低い計算要件: 軽量モデルは通常、より大きなモデルよりも必要な計算リソース (メモリや処理能力など) が少なくなります。そのため、スマートフォン、IoT、エッジ デバイスなど、機能が制限されたデバイスへの導入に適しています。
  • スケーラビリティ: 軽量モデルは、多くのデバイスまたはユーザー間で拡張しやすくなっています。このスケーラビリティは、大規模なモデルの展開が現実的ではないモバイル アプリなど、幅広いユーザー ベースを持つアプリケーションにとって特に有利です。
  • 費用対効果: 軽量モデルにより、AI システムの導入と保守に関連する運用コストを削減できます。消費エネルギーが少なく、より安価なハードウェアで実行できるため、企業や開発者にとってよりアクセスしやすく経済的になります。
  • リソースに制約のある環境での導入: インターネット接続が不安定な環境や帯域幅が制限されている環境では、軽量モデルはクラウド サービスへの継続的なアクセスを必要とせずに効果的に動作できます。

Gemma 2 のような軽量モデルは、コストと持続可能性を考慮しながら、より多くの人々や組織が高度な AI テクノロジーを活用し、イノベーションを推進し、さまざまな課題に対するソリューションを作成できるようになるため、非常に重要です。

ジェマ 2 の紹介

Gemma 2 は、Google のオープンソース大規模言語モデル (LLM) の最新版であり、命令の微調整されたバリアントを含む、90 億 (gemma-2-9b) および 270 億 (gemma-2-27b) のパラメーターを持つモデルを特徴としています。これらのモデルは、Web データ、英語のテキスト、コード、数学的コンテンツを含む広範なデータセット (27B バージョンでは 13 兆トークン、9B バージョンでは 8 兆トークン) でトレーニングされました。コンテキスト長が 8,000 トークンの Gemma 2 は、データ キュレーションの向上とトレーニング データセットの拡大により、言語理解やテキスト生成などのタスクのパフォーマンスが向上しています。 Gemma 2 は寛容なライセンスの下でリリースされており、再配布、商用利用、微調整、二次的著作物をサポートしており、AI アプリケーションの広範な採用と革新を促進します。いくつかの技術的な強化には、ローカルとグローバルのアテンションとグループクエリのアテンションのインターリーブが含まれます。さらに、2B モデルと 9B モデルは、次のトークンの予測ではなく知識の蒸留を利用するため、そのサイズに比べて優れたパフォーマンスが得られ、2 ~ 3 倍大きいモデルと競合する代替モデルが得られます。

Gemma2のパフォーマンス

Gemma 2 の訓練中、厳格な安全プロトコルが維持されました。これには、潜在的なバイアスとリスクを検出して対処するために、トレーニング前のデータをフィルタリングし、さまざまな指標にわたって徹底的なテストを実施することが含まれます。

Gemma 2 のパフォーマンス (画像ソース)

Gemma 2 の 9B および 27B 命令の評価 (画像ソース)

Gemma 2 のパワーを体験してください

始める前に、GPU 構成に関する情報を収集しましょう。

nvidia-smi

ollama run gemma2

高度な A4000 マシンを使用すると、モデルがいかに迅速に取得されるかに驚かれることでしょう。わずか数秒で、モデルと素晴らしいチャットをする準備が整います。

1: 考えさせられる質問: ニューラル ネットワークはどのように機能し、その主要なコンポーネントについて説明しますか?

瞬く間にモデルは出力を生成します。

2: ジレンマの質問: あなたは、生き残るために臓器移植が必要な 5 人の患者を抱えている医師ですが、臓器を持っていないことを想像してください。ある日、適合する臓器を持った健康な人が定期検査のために入院しました。この健康な人の臓器を使えば、5人の患者全員を救うことができます。しかし、それは定期検診に来た健康な人を犠牲にすることを意味します。何をすべきですか?またその理由は何ですか?

3: コーディング: 空のセルを埋めて数独パズルを解く関数を作成します。 Sudoku パズルは 9x9 のグリッドであり、目標は、各行、各列、および 9 つの 3x3 サブグリッドのそれぞれに 1 から 9 までの数字が 1 回だけ含まれるようにグリッドを埋めることです。空のセルは文字「.」で表されます。

出力:-

def solveSudoku(puzzle):
    """
    Solves a Sudoku puzzle.

    Args:
        puzzle (list): A list of strings representing the Sudoku puzzle.

    Returns:
        list: A list of strings representing the solved Sudoku puzzle.
    """

    # Iterate over the rows, columns, and subgrids.
    for row in range(9):
        for col in range(9):
            if puzzle[row][col] == '.':
                # Check if the number is already in the row, column, or subgrid.
                for i in range(9):
                    if puzzle[row][i] != '.' and puzzle[i][col] != '.' and puzzle[row][col] == puzzle[i][col]:
                        continue

                # Find the possible numbers for the cell.
                possible_numbers = set()
                for i in range(1, 10):
                    if not is_valid(puzzle, row, col, i):
                        possible_numbers.add(i)

                # Try each possible number.
                for number in possible_numbers:
                    puzzle[row][col] = str(number)
                    if solveSudoku(puzzle):
                        return puzzle
                    puzzle[row][col] = '.'

    # If no solution is found, return the original puzzle.
    return puzzle

Helper function to check if a number is valid for a cell.
def is_valid(puzzle, row, col, number):
    for i in range(9):
        if puzzle[row][i] == str(number) or puzzle[i][col] == str(number):
            return False
    for i in range(3):
        for j in range(3):
            if puzzle[row // 3 * 3 + i][col // 3 * 3 + j] == str(number):
                return False
    return True
```

__Explanation:__

* The `solveSudoku` function iterates over the rows, columns, and subgrids of the Sudoku puzzle.
* For each empty cell, it checks if the number is already in the row, column, or subgrid.
* It then finds the possible numbers for the cell and tries each one.
* If a solution is found, it returns the solved puzzle. Otherwise, it returns the original puzzle.
* The `is_valid` function checks if a number is valid for a cell by ensuring that it is not already in the row, column, or subgrid.

__Example Usage:__

```pythonExample Sudoku puzzle.
puzzle = [
    ['5', '3', '.', '.', '7', '8', '.', '.', '.'],
    ['.', '7', '4', '6', '.', '5', '8', '9', '.'],
    ['.', '.', '8', '.', '9', '1', '.', '6', '.'],
    // ... Rest of the puzzle.
]
Solve the Sudoku puzzle.
solution = solveSudoku(puzzle)
Print the solved puzzle.
print(solution)
```

結論

SOTA モデル Gemma 2 によって示された進歩は、AI の分野において画期的なものです。 Gemma 2 は、90 億と 270 億のパラメータを利用する構成により、パフォーマンス、効率、および重要な安全性の強化が実証されています。サイズが 2 倍のモデルに匹敵し、単一の NVIDIA Tensor コア GPU または TPU ホスト上でコスト効率よく動作するため、幅広い開発者や研究者が高度な AI にアクセスできるようになります。 Gemma 2 のオープンソースの性質、広範なトレーニング、および技術的な強化は、その優れたパフォーマンスを強調しており、AI テクノロジーの重要な発展となっています。

参考文献

  • Gemma 2: オープン言語モデルを実用的なサイズに改善する
  • Gemma 2 が研究者と開発者に利用可能になりました