GradientAIプラットフォームを使用したサーバーレス推論

サーバーレス推論は、技術的および非技術的なAIユーザーの両方のサークルで、正当に熱い話題の一つです。それには良い理由があります。カスタムモデルをデプロイするためには、デプロイメントのすべての側面を制御することがしばしば必要ですが、サーバーレスはモデルデプロイメントとAPIエンドポイントの維持と管理の頭痛を取り除きます。これは、さまざまな自律的なLLMのユースケースにとって非常に便利です。

このチュートリアルでは、DigitalOcean APIを使用してGradientAIプラットフォームでサーバーレス推論を開始する方法を示します。その後、この方法論が本番環境や日常のワークフローでの潜在的な使用例について議論します。

GradientAIプラットフォームでのサーバーレス推論へのアクセス

始めるには、DigitalOcean APIまたはCloud Consoleのどちらかを使用できます。各方法論を見てみましょう。

ステップ 1a: DigitalOcean APIキーを作成する

始めるには、まず自分のDigitalOceanアカウントを作成し、ログインする必要があります。ログインが完了したら、使用するチームスペースに移動します。ここから、DigitalOceanのAPIキーを作成します。これにより、後でモデルアクセス用のトークンを作成できるようになりますので、このステップを飛ばして「ステップ2b: クラウドコンソールを使用してモデルアクセスキーを作成する」というセクションに進むことができます。

ホームページの左側にあるナビゲーションバーを使用し、“API ”が見えるまでスクロールダウンします。それをクリックしてAPIのホームページを開きます。次に、右上のボタンを使って新しいキーを作成できます。

キー作成ページで、必要に応じてキーに名前を付け、適切な権限を付与します。そのためには、フルパーミッションを与えるか、カスタムスコープの選択で「genai」までスクロールダウンして全てを選択してください。その後、キーを作成します。この値を後で使用するために保存してください。

ステップ2A：APIでモデルアクセスキーを作成する

次に、GradientAIのサーバーレス推論のためのモデルアクセスキーを作成します。そのためには、コンソールまたはAPIを使用できます。APIを使用する場合は、以前に保存したAPIキーを使用して、ターミナルで次のcurlリクエストを実行してください。「$DIGITALOCEAN_TOKEN」の値をあなた自身のものに置き換えてください。

curl -X POST -H 'Authorization: Bearer $DIGITALOCEAN_TOKEN' https://api.linux-console.net/v2/gen-ai/models/api_keys

これにより、私たちのモデルアクセスキーが出力されます。この値を後で保存してください。モデルにクエリを送信するために必要になります。

ステップ2B：Cloud Consoleを使用してモデルアクセスキーを作成します。

コンソールを使用したい場合は、コンソールのGradientAIプラットフォームタブ「サーバーレス推論」に移動します。そこに到着したら、右下のボタンを使用して「モデルアクセスキーを作成」します。

次に、私たちがする必要があるのはキーに名前を付けることだけです。出力値を後で使用するために保存してください！Pythonを使ったサーバーレス推論にそれが必要になります。

ステップ3：Pythonとサーバーレス推論を使用したテキストの生成

新しいモデルアクセスキーを使用することで、インターネット接続のある任意のマシンからDigitalOceanのサーバーレス推論を実行し始めることができます！ Jupyter Notebookで作業することをお勧めします。このチュートリアルに記載されている手順に従って、この記事のために環境を設定するためのヒントを参照してください。

環境が設定されたら、新しい .ipynb IPython ノートブックファイルを開いてください。以下のコードスニペットを使用して、フランスの首都について具体的に回答するテキストを生成し始めます。5 行目の API キーの値を変更したことを反映するようにスニペットを編集してください。

from openai import OpenAI
import os

client = OpenAI(
    api_key= **“your_model_access_key_here”**,
    base_url="https://inference.do-ai.run/v1"
)

stream = client.chat.completions.create(
    model="llama3-8b-instruct",
    messages=[
        {
            "role": "developer",
            "content": "You are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "What is the capital of France?",
        },
    ],
    stream=True,
    max_completion_tokens=10
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

これにより、出力「フランスの首都はパリです」が生成されるはずです。プロンプトにより適した値にするために、max_completion_tokensのような値を変更することをお勧めします。また、デジタルオーシャンのGradientAIモデルの提供にリストされている利用可能な任意のモデルにするために、10行目のモデル値を編集することもできます。このモデルゾーは業界の成長を反映するために常に更新されているので、頻繁に確認してアップデートをチェックしてください。

DigitalOceanからのサーバーレスAIのユースケース

サーバーレス推論を実行するための環境を整えたので、モデルを利用するための多くの活動の可能性があります。LLMが可能とするすべてのことから、AIモデルの強みを活用した強力なエージェントアプリケーションを作成することができます。そのいくつかの利用ケースには、次のようなものがあります。

イベント駆動型アプリケーション：特定の出来事がLLMの実行を引き起こす場合、これはエージェント的な使用ケースで一般的です。
スケーラブルなバックエンドサービス：バックエンドでの推論が無限にスケールする必要がある場合、サーバーレスはユーザーが待たされることがないことを保証できます。
データ処理：バッチジョブとデータ処理は、高コストのセットアップを必要とせずに効果的かつ効率的に処理できます。
そしてもっとたくさん！

締めくくりの考え

サーバーレス推論は、独自のサーバーを展開するために必要な手順を学んだり、雇ったりする手間なしにLLMベースのソリューションを求める企業にとって真の解決策です。DigitalOceanのGradientAIプラットフォームを使えば、強力なNVIDIA GPUからサーバーレス推論にアクセスするのがこれまで以上に簡単になりました！私たちは皆さんに新しいソリューションを試していただくことをお勧めします！