diff --git a/packages/backend.ai-webui-docs/src/en/admin_menu/admin_menu.md b/packages/backend.ai-webui-docs/src/en/admin_menu/admin_menu.md index b53e2dd249..a0d6f24caa 100644 --- a/packages/backend.ai-webui-docs/src/en/admin_menu/admin_menu.md +++ b/packages/backend.ai-webui-docs/src/en/admin_menu/admin_menu.md @@ -246,37 +246,47 @@ also displayed in the Permission panel. -## Manage Models cards +## Manage Model Cards -All of the Model cards in model store are managed by project admin. -After uploading model store with model-definition file, any user in the project -can access to model card and clone it if needed. +Model cards in the Model Store are created and managed through the [Admin Model Store Management](#admin-model-store-management) interface. Each model card is linked to a storage folder (vfolder) that contains the actual model files. -Following method is to add model cards from the Hugging Face. +### Setting Up the Model Store Folder :::note -Before creating a model card, getting an access to the specific model on Hugging Face is needed. -For more information, please refer to [Gated models](https://huggingface.co/docs/hub/models-gated) . +If the model is hosted on Hugging Face as a gated model, you will need to request access before downloading. Refer to [Gated models](https://huggingface.co/docs/hub/models-gated) for details. ::: -First, Set the project to 'model-store'. +First, set the project to `model-store`. ![](../images/select_project_to_model_store.png) -Move to data page and click the 'Create Folder' button on the right side. Enter the folder name, -and set the rest of folder configuration as shown below: +Go to the Data page and click the **Create Folder** button. Configure the folder as follows: -- Usage Mode: Model -- Type: project -- Permission: Read-Write -- Cloneable: True +- **Usage Mode**: Model +- **Type**: Project +- **Permission**: Read-Write ![](../images/model_store_folder.png) -After creating the folder, you need to set and upload the model-definition.yaml file -to the folder that you've just created. Following is the example of the model-definition file. -If you want to know how to write model-definition file, -please refer to [Model definition guide](#model-definition-guide) section. +After creating the folder, download the model files into it. You can mount the model folder during session creation and use tools such as `huggingface-cli` to download model weights. + +:::note +You need to download the model files manually into the folder. For instructions on how to download from Hugging Face, refer to [Downloading models](https://huggingface.co/docs/hub/models-downloading). +::: + +Once the folder and its model files are ready, create a model card through the [Admin Model Store Management](#admin-model-store-management) interface and link it to this folder. + +![](../images/model_card_detail.png) + +### Model Definition File (Advanced — Custom Runtime) + +For the `Custom` runtime variant, you can optionally place a `model-definition.yaml` file in the model folder. This file tells Backend.AI how to start and operate the inference server during serving — including the startup command, health check settings, and any pre-start actions such as downloading model weights at launch time. + +:::note +Runtime variants such as `vLLM`, `SGLang`, `NVIDIA NIM`, and `Modular MAX` do not require a `model-definition.yaml` file. These variants handle model configuration automatically based on the selected settings. +::: + +The following is an example `model-definition.yaml` that starts a vLLM server using the `Custom` variant: ```yaml models: @@ -316,134 +326,83 @@ models: max_retries: 500 ``` -Once the model-definition file is uploaded, the model card will appear in the model store page. - -![](../images/model_card_added.png) +For a full description of the model definition format, refer to the [Model Definition Guide](../model_serving/model_serving.md#model-definition-guide) in the Model Serving documentation. :::note -You need to download model manually after setting model-definition file. For downloading the model file to folder, -you can mount the model folder to session creation and download file to there by referring -[Downloading models](https://huggingface.co/docs/hub/models-downloading) . +To enable the **Deploy** button on a model card in the Model Store, include `service-definition.toml` in the linked folder so Backend.AI can read the model service configuration. Add `model-definition.yaml` only when you use the `Custom` runtime variant; preset runtime variants (such as `vLLM`, `SGLang`, `NVIDIA NIM`, and `Modular MAX`) do not require it. For details on the service definition file, refer to the [Service Definition File](../model_serving/model_serving.md#service-definition-file) section in the Model Serving documentation. ::: -Clicking on the model card you've just created will display the details of the model-definition file you uploaded. -Now, every member of the project can access the model card and clone it. - -![](../images/model_card_detail.png) - -:::note -To enable the "Run this model" button on the model card, both -`model-definition.yaml` and `service-definition.toml` files must exist in the -folder. If either file is missing, the button will be disabled. For details on -creating the service definition file, refer to the -[Service Definition File](#service-definition-file) -section in the Model Serving documentation. -::: + - +## Admin Features -## Model Store Page + -The Model Store page is where users can discover and use pre-configured models that have been set up by administrators. When you navigate to the Model Store page from the sidebar, you will see model cards displaying all available models from the model-store project. +### Admin Serving Page -![](../images/model_store_page_overview.png) +Administrators and superadmins can access the Admin Serving page, which provides a cross-project view of all endpoints. This page shows the **Project** column in addition to the standard endpoint list columns, allowing admins to manage services across all projects. -Each model card displays key information about the model, including: +![](../images/admin_serving_page.png) -- Model name (folder name) -- README content (if a README file exists in the folder) -- Metadata from the model-definition.yaml file -- Action buttons for interacting with the model +The Admin Serving page has two tabs: -Clicking on a model card opens a detailed view with the full README content and available actions. +- **Serving**: Displays the endpoint list across all projects, with the same lifecycle and property filters as the user-facing Serving page. +- **Model Store Management**: Available to superadmins only. See the section below. -![](../images/model_card_detail_with_buttons.png) + - +### Admin Model Store Management -### Clone to Folder +Superadmins can manage model cards through the **Model Store Management** tab on the Admin Serving page. -The "Clone to folder" button allows you to create a personal copy of a model store folder. Since model store folders are read-only and shared across the project, you need to clone them to your own storage to modify files or use them in custom workflows. +![](../images/admin_model_card_list_v2.png) -To clone a model folder: +The list provides the following columns: -1. Click the "Clone to folder" button on the model card -2. In the clone dialog, configure the following settings: - - **Folder Name**: The name for your cloned folder (defaults to the original name with a random suffix) - - **Permission**: Set the access permission for the cloned folder (Read-Only or Read-Write) - - **Usage Mode**: The folder type (General, Model, or Auto Mount) -3. Click the "Clone" button to start the cloning process +- **Name**: The unique identifier of the model card. +- **Title**: The human-readable display name. +- **Category**: The model category (e.g., LLM). +- **Task**: The inference task type (e.g., text-generation). +- **Access Level**: Shows a green `Public` tag when the model card is publicly accessible, or a default `Private` tag otherwise. +- **Domain**: The domain that owns the model card. +- **Project**: The project that owns the model card. +- **Created At**: The timestamp when the model card was created. -![](../images/model_store_clone_dialog.png) +You can filter the list by **Name** using the property filter bar at the top. Edit and delete action icons are shown directly in the **Name** cell of each row. -:::note -Currently, folder cloning only supports cloning to the same storage host. -::: +To delete multiple model cards at once, select the rows you want to remove using the checkboxes and click the red trash-bin button next to the selection count. A confirmation dialog appears before the cards are deleted. -After cloning completes, the new folder will appear in your Data page under the appropriate tab based on the usage mode you selected. +#### Creating a Model Card - +Click the `Create Model Card` button to open the creation modal. Fill in the following fields: -### Create Service from This Model - -The "Run this model" button allows you to create a model service directly from a model card with a single click. This feature automates the process of cloning the model folder and creating a model service endpoint. - -:::note -This button requires the following conditions to be met: - -- Both `model-definition.yaml` and `service-definition.toml` files must exist in the model folder. If either file is missing, the button will be disabled with a tooltip explaining which file is needed. -- You must have sufficient resource quota to create a model service. -- The resource group must allow inference session types. - ::: - - - -#### Service Creation Workflow - -When you click the "Run this model" button, Backend.AI follows this workflow: - -1. **Check for Required Files**: The system verifies that both model-definition.yaml and service-definition.toml exist in the folder - -2. **Clone Folder (if needed)**: If you don't have a cloned copy of the model folder: - - A confirmation dialog appears asking if you want to clone the folder - - The folder will be cloned with a name format: `{original-name}-{random-4-chars}` - - A notification shows the cloning progress - -![](../images/model_service_clone_confirmation.png) - - - -3. **Create Service**: Once the folder exists (either from a previous clone or just cloned): - - The service is automatically created using settings from service-definition.toml - - A notification displays the service creation progress - - You can click the notification to navigate to the Model Serving page - -![](../images/model_service_creation_progress.png) - - - -4. **View Service Details**: After creation completes, you can navigate to the Model Serving page to view the endpoint details, monitor service health, and manage the service - -![](../images/model_service_created_detail.png) - -:::note -If a cloned folder already exists from a previous operation, the system will -automatically use that folder to create the service. In a future release, you will -be able to select which cloned folder to use if multiple copies exist. -::: +- **Name** (required): A unique identifier for the model card. +- **Title**: A human-readable display name. +- **Description**: A detailed description of the model. +- **Author**: The model creator or organization. +- **Model Version**: The version of the model. +- **Task**: The inference task type (e.g., text-generation). +- **Category**: The model category (e.g., LLM). +- **Framework**: The ML framework used (e.g., PyTorch, TensorFlow). +- **Label**: Tags for categorization and filtering. +- **License**: The license under which the model is distributed. +- **Architecture**: The model architecture (e.g., Transformer). +- **README**: A markdown README for the model. +- **Domain**: The domain to associate the model card with. +- **Project ID** (required): The project that owns the model card. +- **VFolder** (required): The storage folder containing the model files. +- **Access Level**: Controls who can see the model card in the user-facing Model Store. - + * `Internal`: Visible only to administrators of the owning domain and project. Regular users cannot see internal cards in their Model Store. + * `Public`: Visible to all users who have access to the owning project. -#### Troubleshooting +#### Editing a Model Card -If service creation fails: +Click the edit icon next to the model card name to modify an existing model card. The edit modal opens with previously entered fields already filled in. -- Check that both model-definition.yaml and service-definition.toml are correctly formatted -- Verify that your resource quota allows creating new model services -- Check the Model Serving page for error messages in the service status -- Refer to the [Model Serving](#model-serving) documentation for detailed troubleshooting steps +#### Deleting Model Cards -For more information about model services, service configuration, and endpoint management, refer to the [Model Serving](#model-serving) documentation. +You can delete an individual model card by clicking the delete icon next to its name, or perform bulk deletion by selecting multiple model cards with the row checkboxes and clicking the red trash-bin button next to the selection count. diff --git a/packages/backend.ai-webui-docs/src/en/model_serving/model_serving.md b/packages/backend.ai-webui-docs/src/en/model_serving/model_serving.md index c31355a0df..0a3fba197c 100644 --- a/packages/backend.ai-webui-docs/src/en/model_serving/model_serving.md +++ b/packages/backend.ai-webui-docs/src/en/model_serving/model_serving.md @@ -758,10 +758,6 @@ If the model card includes a README, it is rendered as a `README.md` card at the ![](../images/model_card_detail_drawer.png) -### Cloning a Model - -To clone a model folder, use the [Data](../vfolder/vfolder.md) page directly. The Model Store drawer does not provide a dedicated Clone button. - ### Deploying a Model Click the **Deploy** button in the drawer header to deploy the model as a service. The deploy flow behaves in one of two ways: @@ -781,69 +777,4 @@ If the selected model has no compatible presets for the current project, the dra **Deploy** button is disabled and deployment is blocked until a compatible preset is available. ::: -## Admin Features - -### Admin Serving Page - -Administrators and superadmins can access the Admin Serving page, which provides a cross-project view of all endpoints. This page shows the **Project** column in addition to the standard endpoint list columns, allowing admins to manage services across all projects. - -![](../images/admin_serving_page.png) - -The Admin Serving page has two tabs: - -- **Serving**: Displays the endpoint list across all projects, with the same lifecycle and property filters as the user-facing Serving page. -- **Model Store Management**: Available to superadmins only. See the section below. - -### Admin Model Store Management - -Superadmins can manage model cards through the **Model Store Management** tab on the Admin Serving page. - -![](../images/admin_model_card_list_v2.png) - -The list provides the following columns: - -- **Name**: The unique identifier of the model card. -- **Title**: The human-readable display name. -- **Category**: The model category (e.g., LLM). -- **Task**: The inference task type (e.g., text-generation). -- **Access Level**: Shows a green `Public` tag when the model card is publicly accessible, or a default `Private` tag otherwise. -- **Domain**: The domain that owns the model card. -- **Project**: The project that owns the model card. -- **Created At**: The timestamp when the model card was created. - -You can filter the list by **Name** using the property filter bar at the top. Edit and delete action icons are shown directly in the **Name** cell of each row. - -To delete multiple model cards at once, select the rows you want to remove using the checkboxes and click the red trash-bin button next to the selection count. A confirmation dialog appears before the cards are deleted. - -#### Creating a Model Card - -Click the `Create Model Card` button to open the creation modal. Fill in the following fields: - -- **Name** (required): A unique identifier for the model card. -- **Title**: A human-readable display name. -- **Description**: A detailed description of the model. -- **Author**: The model creator or organization. -- **Model Version**: The version of the model. -- **Task**: The inference task type (e.g., text-generation). -- **Category**: The model category (e.g., LLM). -- **Framework**: The ML framework used (e.g., PyTorch, TensorFlow). -- **Label**: Tags for categorization and filtering. -- **License**: The license under which the model is distributed. -- **Architecture**: The model architecture (e.g., Transformer). -- **README**: A markdown README for the model. -- **Domain**: The domain to associate the model card with. -- **Project ID** (required): The project that owns the model card. -- **VFolder** (required): The storage folder containing the model files. -- **Access Level**: Controls who can see the model card in the user-facing Model Store. - - * `Internal`: Visible only to administrators of the owning domain and project. Regular users cannot see internal cards in their Model Store. - * `Public`: Visible to all users who have access to the owning project. - -#### Editing a Model Card - -Click the edit icon next to the model card name to modify an existing model card. The edit modal opens with previously entered fields already filled in. - -#### Deleting Model Cards - -You can delete an individual model card by clicking the delete icon next to its name, or perform bulk deletion by selecting multiple model cards with the row checkboxes and clicking the red trash-bin button next to the selection count. diff --git a/packages/backend.ai-webui-docs/src/ja/admin_menu/admin_menu.md b/packages/backend.ai-webui-docs/src/ja/admin_menu/admin_menu.md index 7a9dd496e8..1f5620a345 100644 --- a/packages/backend.ai-webui-docs/src/ja/admin_menu/admin_menu.md +++ b/packages/backend.ai-webui-docs/src/ja/admin_menu/admin_menu.md @@ -229,35 +229,45 @@ also displayed in the Permission panel. ## モデルカードの管理 -モデルストアのすべてのモデルカードはプロジェクト管理者によって管理されます。 -model-definitionファイルとともにモデルストアをアップロードすると、プロジェクトのすべてのユーザーが -モデルカードにアクセスし、必要に応じて複製することができます。 +モデルストアのモデルカードは、[管理者モデルストア管理](#admin-model-store-management) インターフェースを通じて作成・管理します。各モデルカードは、実際のモデルファイルが格納されたストレージフォルダー（vfolder）と紐づけられます。 -以下はHugging Faceからモデルカードを追加する方法です。 +### モデルストアフォルダーのセットアップ :::note -モデルカードを作成する前に、Hugging Faceの特定のモデルへのアクセス権限が必要です。 -詳細については、[Gated models](https://huggingface.co/docs/hub/models-gated) を参照してください。 +Hugging FaceのGatedモデルを使用する場合は、ダウンロード前に該当モデルへのアクセス権限をリクエストする必要があります。詳細については、[Gated models](https://huggingface.co/docs/hub/models-gated) を参照してください。 ::: -まず、プロジェクトを'model-store'に設定します。 +まず、プロジェクトを `model-store` に設定します。 ![](../images/select_project_to_model_store.png) -データページに移動し、右側の「フォルダ作成」ボタンをクリックします。フォルダ名を入力し、 -残りのフォルダ設定を以下のように構成します: +データページに移動し、**フォルダ作成** ボタンをクリックします。フォルダを以下のように設定します： -- 使用方式: Model -- タイプ: project -- 権限: Read-Write -- 複製可能: True +- **使用方式**: Model +- **タイプ**: Project +- **権限**: Read-Write ![](../images/model_store_folder.png) -フォルダを作成した後、作成したフォルダにmodel-definition.yamlファイルを設定してアップロードする必要があります。 -以下はmodel-definitionファイルの例です。 -model-definitionファイルの作成方法の詳細については、 -[モデル定義ガイド](#model-definition-guide) セクションを参照してください。 +フォルダを作成したら、モデルファイルをフォルダにダウンロードします。セッション作成時にモデルフォルダをマウントし、`huggingface-cli` などのツールを使用してモデルの重みをダウンロードできます。 + +:::note +モデルファイルは手動でフォルダにダウンロードする必要があります。Hugging Faceからのダウンロード方法については、[Downloading models](https://huggingface.co/docs/hub/models-downloading) を参照してください。 +::: + +フォルダとモデルファイルが準備できたら、[管理者モデルストア管理](#admin-model-store-management) インターフェースでモデルカードを作成し、そのフォルダーと紐づけます。 + +![](../images/model_card_detail.png) + +### モデル定義ファイル（高度な設定 — カスタムランタイム） + +`Custom` ランタイムバリアントを使用する場合、モデルフォルダーに `model-definition.yaml` ファイルをオプションで配置できます。このファイルは、サービング時に推論サーバーをどのように起動・運用するかを Backend.AI に伝えます — 起動コマンド、ヘルスチェック設定、モデルの重みのダウンロードなどの起動前アクションが含まれます。 + +:::note +`vLLM`、`SGLang`、`NVIDIA NIM`、`Modular MAX` などのランタイムバリアントでは、`model-definition.yaml` ファイルは不要です。これらのバリアントは、選択した設定に基づいてモデル構成を自動的に処理します。 +::: + +以下は、`Custom` バリアントで vLLM サーバーを起動する `model-definition.yaml` の例です： ```yaml models: @@ -291,148 +301,89 @@ models: - "8000" - --max-model-len - "4096" - port: 8000 - health_check: - path: /v1/models - max_retries: 500 + port: 8000 + health_check: + path: /v1/models + max_retries: 500 ``` -model-definitionファイルがアップロードされると、モデルストアページにモデルカードが表示されます。 - -![](../images/model_card_added.png) +モデル定義ファイルの形式の詳細については、モデルサービスドキュメントの [モデル定義ガイド](../model_serving/model_serving.md#model-definition-guide) を参照してください。 :::note -model-definitionファイルを設定した後、モデルを手動でダウンロードする必要があります。フォルダにモデルファイルをダウンロードするには、 -セッション作成時にモデルフォルダをマウントし、[Downloading models](https://huggingface.co/docs/hub/models-downloading) を参照して -そこにファイルをダウンロードすることができます。 +モデルストアでモデルカードの **Deploy** ボタンを有効にするには、紐づけられたフォルダーに `service-definition.toml` を含めてください。`model-definition.yaml` は `Custom` ランタイムバリアントを使用する場合にのみ追加で必要であり、`vLLM`、`SGLang`、`NVIDIA NIM`、`Modular MAX` などのプリセットランタイムバリアントでは不要です。サービス定義ファイルの詳細については、モデルサービスドキュメントの [サービス定義ファイル](../model_serving/model_serving.md#service-definition-file) セクションを参照してください。 ::: -作成したモデルカードをクリックすると、アップロードしたmodel-definitionファイルの詳細が表示されます。 -これで、プロジェクトのすべてのメンバーがモデルカードにアクセスして複製できます。 - -![](../images/model_card_detail.png) + -:::note -モデルカードの「このモデルを実行します」ボタンを有効にするには、フォルダに -`model-definition.yaml`と`service-definition.toml`の両方のファイルが存在する -必要があります。いずれかのファイルが不足している場合、ボタンは無効になります。 -サービス定義ファイルの作成方法の詳細については、モデルサービスドキュメントの -[サービス定義ファイル](#service-definition-file) -セクションを参照してください。 -::: +## 管理者機能 - + -## モデルストアページ +### 管理者サービングページ -モデルストアページは、管理者が事前に構成したモデルをユーザーが閲覧して活用できるページです。サイドバーからモデルストアページに移動すると、モデルストアプロジェクトに登録されたすべてのモデルカードを確認できます。 +管理者およびスーパー管理者は、すべてのプロジェクトのエンドポイントを表示できる管理者サービングページにアクセスできます。このページには、標準のエンドポイント一覧列に加えて**プロジェクト**列が表示され、管理者がすべてのプロジェクトのサービスを管理できます。 -![](../images/model_store_page_overview.png) +![](../images/admin_serving_page.png) - +管理者サービングページには2つのタブがあります： -各モデルカードには以下の主要な情報が表示されます： +- **Serving**: すべてのプロジェクトのエンドポイント一覧を表示し、ユーザー向けサービングページと同じライフサイクルおよびプロパティフィルターを提供します。 +- **Model Store Management**: スーパー管理者のみ利用可能です。以下のセクションを参照してください。 -- モデル名（フォルダ名） -- READMEの内容（フォルダにREADMEファイルがある場合） -- model-definition.yamlファイルのメタデータ -- モデルと対話するためのアクションボタン + -モデルカードをクリックすると、READMEの全内容と利用可能なアクションを含む詳細ビューが開きます。 +### 管理者モデルストア管理 -![](../images/model_card_detail_with_buttons.png) +スーパー管理者は、管理者サービングページのモデルストア管理（Model Store Management）タブを通じてモデルカードを管理できます。 - +![](../images/admin_model_card_list_v2.png) - +一覧には次の列が表示されます： -### フォルダにクローン +- **名前（Name）**: モデルカードの一意の識別子です。 +- **タイトル（Title）**: 人間が読みやすい表示名です。 +- **カテゴリ（Category）**: モデルカテゴリです（例：LLM）。 +- **タスク（Task）**: 推論タスクタイプです（例：text-generation）。 +- **アクセスレベル（Access Level）**: モデルカードが公開アクセス可能な場合は緑色の `Public` タグが、それ以外の場合はデフォルトの `Private` タグが表示されます。 +- **ドメイン（Domain）**: モデルカードを所有するドメインです。 +- **プロジェクト（Project）**: モデルカードを所有するプロジェクトです。 +- **作成日時（Created At）**: モデルカードが作成された時間です。 -「フォルダにクローン」ボタンを使用すると、モデルストアフォルダの個人コピーを作成できます。モデルストアフォルダは読み取り専用でプロジェクト全体で共有されるため、ファイルを変更したりカスタムワークフローで使用するには、自分のストレージにクローンする必要があります。 +上部のプロパティフィルターバーを使用して、名前で一覧をフィルタリングできます。各行の名前セルには、編集および削除のアクションアイコンが直接表示されます。 -モデルフォルダをクローンするには： +複数のモデルカードを一度に削除するには、チェックボックスで削除する行を選択し、選択件数の横にある赤色のゴミ箱ボタンをクリックします。カードが削除される前に確認ダイアログが表示されます。 -1. モデルカードの「フォルダにクローン」ボタンをクリックします -2. クローンダイアログで以下の設定を構成します： - - **フォルダ名**: クローンするフォルダの名前です（デフォルトは元の名前にランダムなサフィックスが追加されます） - - **権限**: クローンしたフォルダのアクセス権限を設定します（読み取り専用または読み書き） - - **使用モード**: フォルダの種類を選択します（一般、モデル、または自動マウント） -3. 「クローン」ボタンをクリックしてクローンプロセスを開始します - -![](../images/model_store_clone_dialog.png) - - - -:::note -現在、フォルダのクローンは同じストレージホスト内でのみサポートされています。 -::: +#### モデルカードの作成 -クローンが完了すると、選択した使用モードに応じてデータページの該当タブに新しいフォルダが表示されます。 +`モデルカードの作成（Create Model Card）` ボタンをクリックして作成モーダルを開きます。以下のフィールドを入力します： - - -### このモデルからサービスを作成 - -「このモデルを実行します」ボタンを使用すると、モデルカードからワンクリックでモデルサービスを直接作成できます。この機能はモデルフォルダのクローンとモデルサービスエンドポイントの作成プロセスを自動化します。 - -:::note -このボタンを有効にするには、以下の条件を満たす必要があります： - -- モデルフォルダに `model-definition.yaml` と `service-definition.toml` の両方のファイルが存在すること。いずれかのファイルが不足している場合、ボタンは無効になり、必要なファイルを示すツールチップが表示されます。 -- モデルサービスを作成するための十分なリソースクォータがあること。 -- リソースグループが推論セッションタイプを許可していること。 - ::: - - - -#### サービス作成ワークフロー - -「このモデルを実行します」ボタンをクリックすると、Backend.AIは以下のワークフローに従います： - -1. **必要ファイルの確認**: フォルダにmodel-definition.yamlとservice-definition.tomlの両方が存在するか確認します - -2. **フォルダのクローン（必要な場合）**: モデルフォルダのクローンがない場合： - - フォルダをクローンするかどうかを尋ねる確認ダイアログが表示されます - - フォルダは `{元の名前}-{ランダム4文字}` の形式の名前でクローンされます - - 通知でクローンの進行状況が表示されます - -![](../images/model_service_clone_confirmation.png) - - - -3. **サービスの作成**: フォルダの準備ができたら（以前のクローンまたは新しいクローンから）： - - service-definition.tomlの設定を使用してサービスが自動的に作成されます - - 通知でサービス作成の進行状況が表示されます - - 通知をクリックするとモデルサービスページに移動できます - -![](../images/model_service_creation_progress.png) - - - -4. **サービス詳細の確認**: 作成が完了したら、モデルサービスページに移動してエンドポイントの詳細を確認し、サービスの状態を監視し、サービスを管理できます - -![](../images/model_service_created_detail.png) - - - -:::note -以前の操作でクローンしたフォルダがすでに存在する場合、システムはそのフォルダを -自動的に使用してサービスを作成します。将来のリリースでは、複数のコピーがある場合に -どのクローンフォルダを使用するか選択できるようになる予定です。 -::: +- **名前（Name）**（必須）: モデルカードの一意の識別子です。 +- **タイトル（Title）**: 人間が読みやすい表示名です。 +- **説明（Description）**: モデルの詳細な説明です。 +- **著者（Author）**: モデルの作成者または組織です。 +- **モデルバージョン（Model Version）**: モデルのバージョンです。 +- **タスク（Task）**: 推論タスクタイプです（例：text-generation）。 +- **カテゴリ（Category）**: モデルカテゴリです（例：LLM）。 +- **フレームワーク（Framework）**: 使用される ML フレームワークです（例：PyTorch、TensorFlow）。 +- **ラベル（Label）**: 分類およびフィルタリング用のタグです。 +- **ライセンス（License）**: モデルが配布されるライセンスです。 +- **アーキテクチャ（Architecture）**: モデルアーキテクチャです（例：Transformer）。 +- **README**: モデルのマークダウン README です。 +- **ドメイン（Domain）**: モデルカードを関連付けるドメインです。 +- **プロジェクト ID（Project ID）**（必須）: モデルカードを所有するプロジェクトです。 +- **VFolder**（必須）: モデルファイルを含むストレージフォルダーです。 +- **アクセスレベル（Access Level）**: ユーザー向けモデルストアでモデルカードを誰が閲覧できるかを制御します。 - + * `Internal`: モデルカードを所有するドメインとプロジェクトの管理者にのみ表示されます。一般ユーザーは、自分のモデルストアで Internal のモデルカードを閲覧できません。 + * `Public`: 該当プロジェクトにアクセス権を持つすべてのユーザーに表示されます。 -#### トラブルシューティング +#### モデルカードの編集 -サービスの作成に失敗した場合： +モデルカード名の横にある編集アイコンをクリックして、既存のモデルカードを変更します。以前に入力したフィールドが入力された状態で編集モーダルが開きます。 -- model-definition.yamlとservice-definition.tomlのフォーマットが正しいか確認してください -- リソースクォータが新しいモデルサービスの作成を許可しているか確認してください -- モデルサービスページでサービスステータスのエラーメッセージを確認してください -- 詳細なトラブルシューティング手順については、[モデルサービス](#model-serving) ドキュメントを参照してください +#### モデルカードの削除 -モデルサービス、サービス構成、エンドポイント管理の詳細については、[モデルサービス](#model-serving) ドキュメントを参照してください。 +モデルカード名の横にある削除アイコンをクリックして個別のモデルカードを削除するか、行のチェックボックスで複数のモデルカードを選択したうえで、選択件数の横にある赤色のゴミ箱ボタンをクリックして一括削除を実行できます。 diff --git a/packages/backend.ai-webui-docs/src/ja/model_serving/model_serving.md b/packages/backend.ai-webui-docs/src/ja/model_serving/model_serving.md index 6889f951f9..cf3dc59d30 100644 --- a/packages/backend.ai-webui-docs/src/ja/model_serving/model_serving.md +++ b/packages/backend.ai-webui-docs/src/ja/model_serving/model_serving.md @@ -625,7 +625,7 @@ SGLangは次のタブを提供します：**Model Loading**、**Resource Memory* ### サービスの変更 -エンドポイント詳細ページの`Edit`ボタンをクリックして、モデルサービスを変更します。以前に入力したフィールドが入力された状態でサービスランチャーが開きます。変更したいフィールドのみを選択的に変更できます。フィールドを変更した後、`Confirm`をクリックして変更を適用します。 +エンドポイント詳細ページの`Edit`ボタンをクリックして、モデルサービスを変更します。以前に入力したフィールドが入力された状態でサービスランチャーが開きます。変更したいフィールドのみを選択的に変更できます。フィールドを変更した後、`Update`をクリックして変更を適用します。 ![](../images/edit_model_service.png) @@ -685,7 +685,7 @@ API接続に問題が発生した場合、Chatページにモデル設定を手 -## Model Store +## モデルストア モデルストア（Model Store）は、事前構成されたモデルを閲覧、検索、デプロイできるカードベースのギャラリーを提供します。サイドバーメニューからモデルストアにアクセスできます。 @@ -721,10 +721,6 @@ API接続に問題が発生した場合、Chatページにモデル設定を手 ![](../images/model_card_detail_drawer.png) -### モデルのクローン - -モデルフォルダをクローンするには、[データ](../vfolder/vfolder.md) ページを直接使用してください。モデルストアドロワーには専用のクローンボタンは提供されません。 - ### モデルのデプロイ ドロワーヘッダーの `デプロイ（Deploy）` ボタンをクリックすると、モデルがサービスとしてデプロイされます。デプロイフローは次の 2 通りのいずれかで動作します： @@ -745,68 +741,4 @@ API接続に問題が発生した場合、Chatページにモデル設定を手 デプロイはブロックされます。 ::: -## 管理者機能 - -### 管理者サービングページ - -管理者およびスーパー管理者は、すべてのプロジェクトのエンドポイントを表示できる管理者サービングページにアクセスできます。このページには、標準のエンドポイント一覧列に加えて**プロジェクト**列が表示され、管理者がすべてのプロジェクトのサービスを管理できます。 - -![](../images/admin_serving_page.png) - -管理者サービングページには2つのタブがあります： - -- **Serving**: すべてのプロジェクトのエンドポイント一覧を表示し、ユーザー向けサービングページと同じライフサイクルおよびプロパティフィルターを提供します。 -- **Model Store Management**: スーパー管理者のみ利用可能です。以下のセクションを参照してください。 - -### 管理者モデルストア管理 - -スーパー管理者は、管理者サービングページのモデルストア管理（Model Store Management）タブを通じてモデルカードを管理できます。 - -![](../images/admin_model_card_list_v2.png) - -一覧には次の列が表示されます： - -- **名前（Name）**: モデルカードの一意の識別子です。 -- **タイトル（Title）**: 人間が読みやすい表示名です。 -- **カテゴリ（Category）**: モデルカテゴリです（例：LLM）。 -- **タスク（Task）**: 推論タスクタイプです（例：text-generation）。 -- **アクセスレベル（Access Level）**: モデルカードが公開アクセス可能な場合は緑色の `Public` タグが、それ以外の場合はデフォルトの `Private` タグが表示されます。 -- **ドメイン（Domain）**: モデルカードを所有するドメインです。 -- **プロジェクト（Project）**: モデルカードを所有するプロジェクトです。 -- **作成日時（Created At）**: モデルカードが作成された時間です。 - -上部のプロパティフィルターバーを使用して、名前で一覧をフィルタリングできます。各行の名前セルには、編集および削除のアクションアイコンが直接表示されます。 - -複数のモデルカードを一度に削除するには、チェックボックスで削除する行を選択し、選択件数の横にある赤色のゴミ箱ボタンをクリックします。カードが削除される前に確認ダイアログが表示されます。 - -#### モデルカードの作成 - -`モデルカードの作成（Create Model Card）` ボタンをクリックして作成モーダルを開きます。以下のフィールドを入力します： - -- **名前（Name）**（必須）: モデルカードの一意の識別子です。 -- **タイトル（Title）**: 人間が読みやすい表示名です。 -- **説明（Description）**: モデルの詳細な説明です。 -- **著者（Author）**: モデルの作成者または組織です。 -- **モデルバージョン（Model Version）**: モデルのバージョンです。 -- **タスク（Task）**: 推論タスクタイプです（例：text-generation）。 -- **カテゴリ（Category）**: モデルカテゴリです（例：LLM）。 -- **フレームワーク（Framework）**: 使用される ML フレームワークです（例：PyTorch、TensorFlow）。 -- **ラベル（Label）**: 分類およびフィルタリング用のタグです。 -- **ライセンス（License）**: モデルが配布されるライセンスです。 -- **アーキテクチャ（Architecture）**: モデルアーキテクチャです（例：Transformer）。 -- **README**: モデルのマークダウン README です。 -- **ドメイン（Domain）**: モデルカードを関連付けるドメインです。 -- **プロジェクト ID（Project ID）**（必須）: モデルカードを所有するプロジェクトです。 -- **VFolder**（必須）: モデルファイルを含むストレージフォルダーです。 -- **アクセスレベル（Access Level）**: ユーザー向けモデルストアでモデルカードを誰が閲覧できるかを制御します。 - - * `Internal`: モデルカードを所有するドメインとプロジェクトの管理者にのみ表示されます。一般ユーザーは、自分のモデルストアで Internal のモデルカードを閲覧できません。 - * `Public`: 該当プロジェクトにアクセス権を持つすべてのユーザーに表示されます。 - -#### モデルカードの編集 - -モデルカード名の横にある編集アイコンをクリックして、既存のモデルカードを変更します。以前に入力したフィールドが入力された状態で編集モーダルが開きます。 - -#### モデルカードの削除 -モデルカード名の横にある削除アイコンをクリックして個別のモデルカードを削除するか、行のチェックボックスで複数のモデルカードを選択したうえで、選択件数の横にある赤色のゴミ箱ボタンをクリックして一括削除を実行できます。 diff --git a/packages/backend.ai-webui-docs/src/ko/admin_menu/admin_menu.md b/packages/backend.ai-webui-docs/src/ko/admin_menu/admin_menu.md index f0c5f57c30..e3900d0668 100644 --- a/packages/backend.ai-webui-docs/src/ko/admin_menu/admin_menu.md +++ b/packages/backend.ai-webui-docs/src/ko/admin_menu/admin_menu.md @@ -186,35 +186,45 @@ Backend.AI는 사용자 자신의 스토리지 폴더 외에도 프로젝트를 ## 모델 카드 관리 -모델 스토어의 모든 모델 카드는 프로젝트 관리자가 관리합니다. -model-definition 파일과 함께 모델 스토어를 업로드하면, 프로젝트의 모든 사용자가 -모델 카드에 접근하고 필요 시 복제할 수 있습니다. +모델 스토어의 모델 카드는 [관리자 모델 스토어 관리](#admin-model-store-management) 인터페이스를 통해 생성하고 관리합니다. 각 모델 카드는 실제 모델 파일이 저장된 스토리지 폴더(vfolder)와 연결됩니다. -다음은 Hugging Face에서 모델 카드를 추가하는 방법입니다. +### 모델 스토어 폴더 설정 :::note -모델 카드를 생성하기 전에 Hugging Face의 특정 모델에 대한 접근 권한이 필요합니다. -자세한 내용은 [Gated models](https://huggingface.co/docs/hub/models-gated) 를 참고하세요. +Hugging Face의 Gated 모델을 사용하는 경우, 다운로드 전에 해당 모델에 대한 접근 권한을 먼저 요청해야 합니다. 자세한 내용은 [Gated models](https://huggingface.co/docs/hub/models-gated) 를 참고하세요. ::: -먼저, 프로젝트를 'model-store'로 설정합니다. +먼저 프로젝트를 `model-store`로 설정합니다. ![](../images/select_project_to_model_store.png) -데이터 페이지로 이동하여 오른쪽의 '폴더 생성' 버튼을 클릭합니다. 폴더 이름을 입력하고 -나머지 폴더 설정을 다음과 같이 구성합니다: +데이터 페이지로 이동하여 **폴더 생성** 버튼을 클릭합니다. 폴더를 다음과 같이 설정합니다: -- 사용 방식: Model -- 유형: project -- 권한: Read-Write -- 복제 가능: True +- **사용 방식**: Model +- **유형**: Project +- **권한**: Read-Write ![](../images/model_store_folder.png) -폴더를 생성한 후, 방금 생성한 폴더에 model-definition.yaml 파일을 설정하고 업로드해야 합니다. -다음은 model-definition 파일의 예시입니다. -model-definition 파일 작성 방법에 대한 자세한 내용은 -[모델 정의 가이드](#model-definition-guide) 섹션을 참고하세요. +폴더 생성 후, 모델 파일을 폴더에 다운로드합니다. 세션 생성 시 모델 폴더를 마운트하고 `huggingface-cli` 등의 도구를 사용하여 모델 가중치를 다운로드할 수 있습니다. + +:::note +모델 파일은 수동으로 폴더에 다운로드해야 합니다. Hugging Face에서 다운로드하는 방법은 [Downloading models](https://huggingface.co/docs/hub/models-downloading) 를 참고하세요. +::: + +폴더와 모델 파일이 준비되면, [관리자 모델 스토어 관리](#admin-model-store-management) 인터페이스에서 모델 카드를 생성하고 해당 폴더와 연결합니다. + +![](../images/model_card_detail.png) + +### 모델 정의 파일 (고급 — Custom 런타임) + +`Custom` 런타임 변형을 사용하는 경우, 모델 폴더에 `model-definition.yaml` 파일을 선택적으로 추가할 수 있습니다. 이 파일은 서빙 시 inference 서버를 어떻게 시작하고 운영할지를 Backend.AI에 알려줍니다 — 시작 명령어, 헬스 체크 설정, 모델 가중치 다운로드 등의 사전 시작 작업을 포함합니다. + +:::note +`vLLM`, `SGLang`, `NVIDIA NIM`, `Modular MAX` 등의 런타임 변형에서는 `model-definition.yaml` 파일이 필요하지 않습니다. 이러한 변형은 선택한 설정에 따라 모델 구성을 자동으로 처리합니다. +::: + +다음은 `Custom` 변형으로 vLLM 서버를 시작하는 `model-definition.yaml` 예시입니다: ```yaml models: @@ -254,128 +264,83 @@ models: max_retries: 500 ``` -model-definition 파일이 업로드되면 모델 스토어 페이지에 모델 카드가 나타납니다. - -![](../images/model_card_added.png) +모델 정의 파일 형식에 대한 자세한 설명은 모델 서빙 문서의 [모델 정의 가이드](../model_serving/model_serving.md#model-definition-guide) 를 참고하세요. :::note -model-definition 파일을 설정한 후 모델을 수동으로 다운로드해야 합니다. 폴더에 모델 파일을 다운로드하려면 -세션 생성 시 모델 폴더를 마운트하고 [Downloading models](https://huggingface.co/docs/hub/models-downloading) 를 참고하여 -해당 위치에 파일을 다운로드할 수 있습니다. +모델 스토어에서 모델 카드의 **Deploy** 버튼을 활성화하려면 연결된 폴더에 `service-definition.toml`이 포함되어 있어야 합니다. `model-definition.yaml`은 `Custom` 런타임 변형을 사용할 때만 추가로 필요하며, `vLLM`, `SGLang`, `NVIDIA NIM`, `Modular MAX` 같은 프리셋 런타임 변형에는 필요하지 않습니다. 서비스 정의 파일에 대한 자세한 내용은 모델 서빙 문서의 [서비스 정의 파일](../model_serving/model_serving.md#service-definition-file) 섹션을 참고하세요. ::: -방금 생성한 모델 카드를 클릭하면 업로드한 model-definition 파일의 상세 정보가 표시됩니다. -이제 프로젝트의 모든 구성원이 모델 카드에 접근하고 복제할 수 있습니다. - -![](../images/model_card_detail.png) - -모델 카드에서 "이 모델로 서비스 만들기" 버튼을 활성화하려면, 폴더에 -`model-definition.yaml`과 `service-definition.toml` 파일이 모두 존재해야 -합니다. 두 파일 중 하나라도 없으면 버튼이 비활성화됩니다. 서비스 정의 파일을 -생성하는 방법에 대한 자세한 내용은 모델 서빙 문서의 -[서비스 정의 파일](#service-definition-file) -섹션을 참고하세요. - - - -## 모델 스토어 페이지 + -모델 스토어 페이지는 관리자가 사전 구성한 모델을 사용자가 탐색하고 활용할 수 있는 페이지입니다. 사이드바에서 모델 스토어 페이지로 이동하면, 모델 스토어 프로젝트에서 등록된 모든 모델 카드를 확인할 수 있습니다. +## 관리자 기능 -![](../images/model_store_page_overview.png) + -각 모델 카드는 다음과 같은 주요 정보를 표시합니다: +### 관리자 서빙 페이지 -- 모델 이름 (폴더 이름) -- README 내용 (폴더에 README 파일이 있는 경우) -- model-definition.yaml 파일의 메타데이터 -- 모델과 상호작용하기 위한 액션 버튼 +관리자 및 슈퍼관리자는 모든 프로젝트의 엔드포인트를 볼 수 있는 관리자 서빙 페이지에 접근할 수 있습니다. 이 페이지는 표준 엔드포인트 목록 열에 추가로 **프로젝트** 열을 표시하여, 관리자가 모든 프로젝트의 서비스를 관리할 수 있게 합니다. -모델 카드를 클릭하면 전체 README 내용과 사용 가능한 액션이 포함된 상세 보기가 열립니다. +![](../images/admin_serving_page.png) -![](../images/model_card_detail_with_buttons.png) +관리자 서빙 페이지에는 두 개의 탭이 있습니다: - +- **Serving**: 모든 프로젝트의 엔드포인트 목록을 표시하며, 사용자용 서빙 페이지와 동일한 라이프사이클 및 속성 필터를 제공합니다. +- **Model Store Management**: 슈퍼관리자에게만 제공됩니다. 아래 섹션을 참조하세요. -### 폴더로 복제 + -"폴더로 복제" 버튼을 사용하면 모델 스토어 폴더의 개인 사본을 생성할 수 있습니다. 모델 스토어 폴더는 읽기 전용이며 프로젝트 전체에서 공유되므로, 파일을 수정하거나 맞춤 워크플로에서 사용하려면 자신의 스토리지로 복제해야 합니다. +### 관리자 모델 스토어 관리 -모델 폴더를 복제하려면: +슈퍼관리자는 관리자 서빙 페이지의 모델 스토어 관리(Model Store Management) 탭을 통해 모델 카드를 관리할 수 있습니다. -1. 모델 카드에서 "폴더로 복제" 버튼을 클릭합니다. -2. 복제 대화 상자에서 다음 설정을 구성합니다: - - **폴더 이름**: 복제할 폴더의 이름입니다. (기본값은 원래 이름에 임의 접미사가 추가됩니다) - - **권한**: 복제된 폴더의 접근 권한을 설정합니다. (읽기 전용 또는 읽기-쓰기) - - **사용 방식**: 폴더 유형을 선택합니다. (일반, 모델 또는 자동 마운트) -3. "복제" 버튼을 클릭하여 복제 프로세스를 시작합니다. +![](../images/admin_model_card_list_v2.png) -![](../images/model_store_clone_dialog.png) +목록은 다음 컬럼을 제공합니다: -:::note -현재 폴더 복제는 동일한 스토리지 호스트 내에서만 지원됩니다. -::: - -복제가 완료되면, 새 폴더가 선택한 사용 방식에 따라 데이터 페이지의 해당 탭에 표시됩니다. - - - -### 이 모델로 서비스 만들기 - -"이 모델로 서비스 만들기" 버튼을 사용하면 모델 카드에서 한 번의 클릭으로 모델 서비스를 바로 생성할 수 있습니다. 이 기능은 모델 폴더 복제와 모델 서비스 엔드포인트 생성 과정을 자동화합니다. - -:::note -이 버튼을 활성화하려면 다음 조건이 충족되어야 합니다: - -- 모델 폴더에 `model-definition.yaml`과 `service-definition.toml` 파일이 모두 존재해야 합니다. 하나라도 없으면 버튼이 비활성화되며, 어떤 파일이 필요한지 안내하는 툴팁이 표시됩니다. -- 모델 서비스를 생성할 수 있는 충분한 자원 쿼터가 있어야 합니다. -- 자원 그룹이 추론 세션 유형을 허용해야 합니다. -::: - - - -#### 서비스 생성 워크플로 - -"이 모델로 서비스 만들기" 버튼을 클릭하면, Backend.AI는 다음 워크플로를 따릅니다: - -1. **필수 파일 확인**: 시스템이 폴더에 model-definition.yaml과 service-definition.toml이 모두 존재하는지 확인합니다. +- **이름(Name)**: 모델 카드의 고유 식별자입니다. +- **제목(Title)**: 사람이 읽을 수 있는 표시 이름입니다. +- **카테고리(Category)**: 모델 카테고리입니다 (예: LLM). +- **태스크(Task)**: 추론 태스크 유형입니다 (예: text-generation). +- **접근 수준(Access Level)**: 모델 카드가 공개적으로 접근 가능한 경우 녹색 `Public` 태그가 표시되고, 그렇지 않으면 기본 `Private` 태그가 표시됩니다. +- **도메인(Domain)**: 모델 카드를 소유한 도메인입니다. +- **프로젝트(Project)**: 모델 카드를 소유한 프로젝트입니다. +- **생성 시간(Created At)**: 모델 카드가 생성된 시간입니다. -2. **폴더 복제 (필요한 경우)**: 모델 폴더의 복제본이 없는 경우: - - 폴더를 복제할 것인지 묻는 확인 대화 상자가 나타납니다. - - 폴더가 `{원래 이름}-{임의 4자리}` 형식의 이름으로 복제됩니다. - - 알림으로 복제 진행 상황이 표시됩니다. +상단의 속성 필터 바를 사용하여 이름으로 목록을 필터링할 수 있습니다. 각 행의 이름 셀에는 편집 및 삭제 액션 아이콘이 직접 표시됩니다. -![](../images/model_service_clone_confirmation.png) +여러 모델 카드를 한 번에 삭제하려면 체크박스로 삭제할 행을 선택한 후 선택 개수 옆의 빨간색 휴지통 버튼을 클릭합니다. 카드가 삭제되기 전에 확인 대화 상자가 표시됩니다. -3. **서비스 생성**: 폴더가 준비되면 (이전에 복제했거나 방금 복제한 경우): - - service-definition.toml의 설정을 사용하여 서비스가 자동으로 생성됩니다. - - 알림으로 서비스 생성 진행 상황이 표시됩니다. - - 알림을 클릭하면 모델 서빙 페이지로 이동할 수 있습니다. +#### 모델 카드 생성 -![](../images/model_service_creation_progress.png) +`모델 카드 생성(Create Model Card)` 버튼을 클릭하여 생성 모달을 엽니다. 다음 필드를 입력합니다: -4. **서비스 상세 정보 확인**: 생성이 완료되면, 모델 서빙 페이지로 이동하여 엔드포인트 상세 정보를 확인하고, 서비스 상태를 모니터링하며, 서비스를 관리할 수 있습니다. - -![](../images/model_service_created_detail.png) - -:::note -이전 작업에서 복제한 폴더가 이미 존재하는 경우, 시스템이 자동으로 해당 폴더를 -사용하여 서비스를 생성합니다. 향후 릴리스에서는 복제본이 여러 개 있을 경우 -어떤 폴더를 사용할지 선택할 수 있는 기능이 추가될 예정입니다. -::: +- **이름(Name)** (필수): 모델 카드의 고유 식별자입니다. +- **제목(Title)**: 사람이 읽을 수 있는 표시 이름입니다. +- **설명(Description)**: 모델에 대한 상세 설명입니다. +- **작가(Author)**: 모델 생성자 또는 조직입니다. +- **모델 버전(Model Version)**: 모델 버전입니다. +- **태스크(Task)**: 추론 태스크 유형입니다 (예: text-generation). +- **카테고리(Category)**: 모델 카테고리입니다 (예: LLM). +- **프레임워크(Framework)**: 사용된 ML 프레임워크입니다 (예: PyTorch, TensorFlow). +- **라벨(Label)**: 분류 및 필터링을 위한 태그입니다. +- **라이선스(License)**: 모델이 배포되는 라이선스입니다. +- **아키텍처(Architecture)**: 모델 아키텍처입니다 (예: Transformer). +- **README**: 모델에 대한 마크다운 README입니다. +- **도메인(Domain)**: 모델 카드를 연결할 도메인입니다. +- **프로젝트 ID(Project ID)** (필수): 모델 카드를 소유하는 프로젝트입니다. +- **VFolder** (필수): 모델 파일이 포함된 스토리지 폴더입니다. +- **접근 수준(Access Level)**: 사용자용 모델 스토어에서 모델 카드를 누가 볼 수 있는지를 제어합니다. - + * `Internal`: 모델 카드를 소유한 도메인과 프로젝트의 관리자에게만 표시됩니다. 일반 사용자는 모델 스토어에서 Internal 모델 카드를 볼 수 없습니다. + * `Public`: 해당 프로젝트에 접근 권한이 있는 모든 사용자에게 표시됩니다. -#### 문제 해결 +#### 모델 카드 수정 -서비스 생성에 실패한 경우: +모델 카드 이름 옆의 편집 아이콘을 클릭하여 기존 모델 카드를 수정합니다. 이전에 입력한 필드가 채워진 상태로 편집 모달이 열립니다. -- model-definition.yaml과 service-definition.toml의 형식이 올바른지 확인하세요. -- 자원 쿼터가 새 모델 서비스 생성을 허용하는지 확인하세요. -- 모델 서빙 페이지에서 서비스 상태의 오류 메시지를 확인하세요. -- 자세한 문제 해결 단계는 [모델 서빙](#model-serving) 문서를 참고하세요. +#### 모델 카드 삭제 -모델 서비스, 서비스 구성 및 엔드포인트 관리에 대한 자세한 내용은 [모델 서빙](#model-serving) 문서를 참고하세요. +모델 카드 이름 옆의 삭제 아이콘을 클릭하여 개별 모델 카드를 삭제하거나, 행 체크박스로 여러 모델 카드를 선택한 후 선택 개수 옆의 빨간색 휴지통 버튼을 클릭하여 일괄 삭제를 수행할 수 있습니다. diff --git a/packages/backend.ai-webui-docs/src/ko/model_serving/model_serving.md b/packages/backend.ai-webui-docs/src/ko/model_serving/model_serving.md index bb0b034d6c..1658312893 100644 --- a/packages/backend.ai-webui-docs/src/ko/model_serving/model_serving.md +++ b/packages/backend.ai-webui-docs/src/ko/model_serving/model_serving.md @@ -734,10 +734,6 @@ API 연결에 문제가 발생하면, Chat 페이지에 모델 설정을 수동 ![](../images/model_card_detail_drawer.png) -### 모델 복제 - -모델 폴더를 복제하려면 [데이터](../vfolder/vfolder.md) 페이지를 직접 사용하세요. 모델 스토어 Drawer에는 전용 Clone 버튼이 제공되지 않습니다. - ### 모델 배포 Drawer 헤더의 `배포(Deploy)` 버튼을 클릭하여 모델을 서비스로 배포합니다. 배포 흐름은 다음 두 가지 방식 중 하나로 동작합니다: @@ -757,68 +753,4 @@ Drawer 헤더의 `배포(Deploy)` 버튼을 클릭하여 모델을 서비스로 비활성화되며, 호환되는 프리셋이 제공될 때까지 배포가 차단됩니다. ::: -## 관리자 기능 - -### 관리자 서빙 페이지 - -관리자 및 슈퍼관리자는 모든 프로젝트의 엔드포인트를 볼 수 있는 관리자 서빙 페이지에 접근할 수 있습니다. 이 페이지는 표준 엔드포인트 목록 열에 추가로 **프로젝트** 열을 표시하여, 관리자가 모든 프로젝트의 서비스를 관리할 수 있게 합니다. - -![](../images/admin_serving_page.png) - -관리자 서빙 페이지에는 두 개의 탭이 있습니다: - -- **Serving**: 모든 프로젝트의 엔드포인트 목록을 표시하며, 사용자용 서빙 페이지와 동일한 라이프사이클 및 속성 필터를 제공합니다. -- **Model Store Management**: 슈퍼관리자에게만 제공됩니다. 아래 섹션을 참조하세요. - -### 관리자 모델 스토어 관리 - -슈퍼관리자는 관리자 서빙 페이지의 모델 스토어 관리(Model Store Management) 탭을 통해 모델 카드를 관리할 수 있습니다. - -![](../images/admin_model_card_list_v2.png) - -목록은 다음 컬럼을 제공합니다: - -- **이름(Name)**: 모델 카드의 고유 식별자입니다. -- **제목(Title)**: 사람이 읽을 수 있는 표시 이름입니다. -- **카테고리(Category)**: 모델 카테고리입니다 (예: LLM). -- **태스크(Task)**: 추론 태스크 유형입니다 (예: text-generation). -- **접근 수준(Access Level)**: 모델 카드가 공개적으로 접근 가능한 경우 녹색 `Public` 태그가 표시되고, 그렇지 않으면 기본 `Private` 태그가 표시됩니다. -- **도메인(Domain)**: 모델 카드를 소유한 도메인입니다. -- **프로젝트(Project)**: 모델 카드를 소유한 프로젝트입니다. -- **생성 시간(Created At)**: 모델 카드가 생성된 시간입니다. - -상단의 속성 필터 바를 사용하여 이름으로 목록을 필터링할 수 있습니다. 각 행의 이름 셀에는 편집 및 삭제 액션 아이콘이 직접 표시됩니다. - -여러 모델 카드를 한 번에 삭제하려면 체크박스로 삭제할 행을 선택한 후 선택 개수 옆의 빨간색 휴지통 버튼을 클릭합니다. 카드가 삭제되기 전에 확인 대화 상자가 표시됩니다. - -#### 모델 카드 생성 - -`모델 카드 생성(Create Model Card)` 버튼을 클릭하여 생성 모달을 엽니다. 다음 필드를 입력합니다: - -- **이름(Name)** (필수): 모델 카드의 고유 식별자입니다. -- **제목(Title)**: 사람이 읽을 수 있는 표시 이름입니다. -- **설명(Description)**: 모델에 대한 상세 설명입니다. -- **작가(Author)**: 모델 생성자 또는 조직입니다. -- **모델 버전(Model Version)**: 모델 버전입니다. -- **태스크(Task)**: 추론 태스크 유형입니다 (예: text-generation). -- **카테고리(Category)**: 모델 카테고리입니다 (예: LLM). -- **프레임워크(Framework)**: 사용된 ML 프레임워크입니다 (예: PyTorch, TensorFlow). -- **라벨(Label)**: 분류 및 필터링을 위한 태그입니다. -- **라이선스(License)**: 모델이 배포되는 라이선스입니다. -- **아키텍처(Architecture)**: 모델 아키텍처입니다 (예: Transformer). -- **README**: 모델에 대한 마크다운 README입니다. -- **도메인(Domain)**: 모델 카드를 연결할 도메인입니다. -- **프로젝트 ID(Project ID)** (필수): 모델 카드를 소유하는 프로젝트입니다. -- **VFolder** (필수): 모델 파일이 포함된 스토리지 폴더입니다. -- **접근 수준(Access Level)**: 사용자용 모델 스토어에서 모델 카드를 누가 볼 수 있는지를 제어합니다. - - * `Internal`: 모델 카드를 소유한 도메인과 프로젝트의 관리자에게만 표시됩니다. 일반 사용자는 모델 스토어에서 Internal 모델 카드를 볼 수 없습니다. - * `Public`: 해당 프로젝트에 접근 권한이 있는 모든 사용자에게 표시됩니다. - -#### 모델 카드 수정 - -모델 카드 이름 옆의 편집 아이콘을 클릭하여 기존 모델 카드를 수정합니다. 이전에 입력한 필드가 채워진 상태로 편집 모달이 열립니다. - -#### 모델 카드 삭제 -모델 카드 이름 옆의 삭제 아이콘을 클릭하여 개별 모델 카드를 삭제하거나, 행 체크박스로 여러 모델 카드를 선택한 후 선택 개수 옆의 빨간색 휴지통 버튼을 클릭하여 일괄 삭제를 수행할 수 있습니다. diff --git a/packages/backend.ai-webui-docs/src/th/admin_menu/admin_menu.md b/packages/backend.ai-webui-docs/src/th/admin_menu/admin_menu.md index 7b4a1c0a71..a9d34593f8 100644 --- a/packages/backend.ai-webui-docs/src/th/admin_menu/admin_menu.md +++ b/packages/backend.ai-webui-docs/src/th/admin_menu/admin_menu.md @@ -227,35 +227,45 @@ also displayed in the Permission panel. ## จัดการการ์ดโมเดล -การ์ดโมเดลทั้งหมดในคลังโมเดลได้รับการจัดการโดยผู้ดูแลโปรเจกต์ -หลังจากอัปโหลดคลังโมเดลพร้อมไฟล์ model-definition แล้ว -ผู้ใช้ทุกคนในโปรเจกต์สามารถเข้าถึงการ์ดโมเดลและโคลนได้หากจำเป็น +การ์ดโมเดลใน Model Store จะถูกสร้างและจัดการผ่านอินเทอร์เฟซ [การจัดการคลังโมเดลสำหรับผู้ดูแลระบบ](#admin-model-store-management) การ์ดโมเดลแต่ละใบจะเชื่อมโยงกับโฟลเดอร์จัดเก็บ (vfolder) ที่มีไฟล์โมเดลจริง -วิธีการดังต่อไปนี้คือการเพิ่มการ์ดโมเดลจาก Hugging Face +### การตั้งค่าโฟลเดอร์ Model Store :::note -ก่อนที่จะสร้างการ์ดโมเดล จำเป็นต้องได้รับสิทธิ์การเข้าถึงโมเดลเฉพาะบน Hugging Face -สำหรับข้อมูลเพิ่มเติม โปรดดูที่ [Gated models](https://huggingface.co/docs/hub/models-gated) +หากโมเดลที่ต้องการอยู่บน Hugging Face เป็นแบบ Gated คุณจะต้องขอสิทธิ์การเข้าถึงก่อนดาวน์โหลด โปรดดูที่ [Gated models](https://huggingface.co/docs/hub/models-gated) สำหรับรายละเอียด ::: -ขั้นแรก ตั้งค่าโปรเจกต์เป็น 'model-store' +ขั้นแรก ตั้งค่าโปรเจกต์เป็น `model-store` ![](../images/select_project_to_model_store.png) -ไปที่หน้าข้อมูลและคลิกปุ่ม 'สร้างโฟลเดอร์' ทางด้านขวา ใส่ชื่อโฟลเดอร์ -และตั้งค่าการกำหนดค่าโฟลเดอร์ที่เหลือดังต่อไปนี้: +ไปที่หน้าข้อมูลและคลิกปุ่ม **สร้างโฟลเดอร์** กำหนดค่าโฟลเดอร์ดังต่อไปนี้: -- โหมดการใช้งาน: Model -- ประเภท: project -- สิทธิ์: Read-Write -- โคลนได้: True +- **โหมดการใช้งาน**: Model +- **ประเภท**: Project +- **สิทธิ์**: Read-Write ![](../images/model_store_folder.png) -หลังจากสร้างโฟลเดอร์แล้ว คุณจะต้องตั้งค่าและอัปโหลดไฟล์ model-definition.yaml -ไปยังโฟลเดอร์ที่คุณเพิ่งสร้างขึ้น ต่อไปนี้คือตัวอย่างไฟล์ model-definition -หากคุณต้องการทราบวิธีการเขียนไฟล์ model-definition -โปรดดูที่ส่วน [คู่มือการกำหนดโมเดล](#model-definition-guide) +หลังจากสร้างโฟลเดอร์แล้ว ให้ดาวน์โหลดไฟล์โมเดลลงในโฟลเดอร์ คุณสามารถเมาท์โฟลเดอร์โมเดลระหว่างการสร้างเซสชันและใช้เครื่องมืออย่าง `huggingface-cli` เพื่อดาวน์โหลดน้ำหนักโมเดล + +:::note +คุณจะต้องดาวน์โหลดไฟล์โมเดลด้วยตนเองลงในโฟลเดอร์ สำหรับคำแนะนำเกี่ยวกับการดาวน์โหลดจาก Hugging Face โปรดดูที่ [Downloading models](https://huggingface.co/docs/hub/models-downloading) +::: + +เมื่อโฟลเดอร์และไฟล์โมเดลพร้อมแล้ว ให้สร้างการ์ดโมเดลผ่านอินเทอร์เฟซ [การจัดการคลังโมเดลสำหรับผู้ดูแลระบบ](#admin-model-store-management) และเชื่อมโยงกับโฟลเดอร์นี้ + +![](../images/model_card_detail.png) + +### ไฟล์กำหนดโมเดล (ขั้นสูง — Custom Runtime) + +สำหรับ runtime variant `Custom` คุณสามารถวางไฟล์ `model-definition.yaml` ในโฟลเดอร์โมเดลได้ ไฟล์นี้จะบอก Backend.AI ว่าจะเริ่มต้นและดำเนินการ inference server อย่างไรระหว่างการให้บริการ — รวมถึงคำสั่งเริ่มต้น การตั้งค่า health check และการดำเนินการก่อนเริ่ม เช่น การดาวน์โหลดน้ำหนักโมเดล + +:::note +Runtime variant อย่าง `vLLM`, `SGLang`, `NVIDIA NIM` และ `Modular MAX` ไม่จำเป็นต้องมีไฟล์ `model-definition.yaml` เนื่องจาก variant เหล่านี้จัดการการกำหนดค่าโมเดลโดยอัตโนมัติตามการตั้งค่าที่เลือก +::: + +ต่อไปนี้คือตัวอย่าง `model-definition.yaml` สำหรับการเริ่ม vLLM server ด้วย variant `Custom`: ```yaml models: @@ -273,165 +283,105 @@ models: - --token - hf_**** - meta-llama/Llama-3.1-8B-Instruct - start_command: - - /usr/bin/python - - -m - - vllm.entrypoints.openai.api_server - - --model - - /models/Llama-3.1-8B-Instruct - - --served-model-name - - Llama-3.1-8B-Instruct - - --tensor-parallel-size - - "1" - - --host - - "0.0.0.0" - - --port - - "8000" - - --max-model-len - - "4096" + start_command: + - /usr/bin/python + - -m + - vllm.entrypoints.openai.api_server + - --model + - /models/Llama-3.1-8B-Instruct + - --served-model-name + - Llama-3.1-8B-Instruct + - --tensor-parallel-size + - "1" + - --host + - "0.0.0.0" + - --port + - "8000" + - --max-model-len + - "4096" port: 8000 health_check: path: /v1/models max_retries: 500 ``` -เมื่ออัปโหลดไฟล์ model-definition แล้ว การ์ดโมเดลจะปรากฏในหน้าคลังโมเดล - -![](../images/model_card_added.png) +สำหรับคำอธิบายรูปแบบไฟล์กำหนดโมเดลอย่างละเอียด โปรดดูที่ [คู่มือการกำหนดโมเดล](../model_serving/model_serving.md#model-definition-guide) ในเอกสารการให้บริการโมเดล :::note -คุณจะต้องดาวน์โหลดโมเดลด้วยตนเองหลังจากตั้งค่าไฟล์ model-definition -สำหรับการดาวน์โหลดไฟล์โมเดลไปยังโฟลเดอร์ -คุณสามารถเมาท์โฟลเดอร์โมเดลเมื่อสร้างเซสชันและดาวน์โหลดไฟล์ไปยังตำแหน่งนั้นโดยดูที่ -[Downloading models](https://huggingface.co/docs/hub/models-downloading) +หากต้องการเปิดใช้งานปุ่ม **Deploy** บนการ์ดโมเดลใน Model Store โฟลเดอร์ที่เชื่อมโยงต้องมี `service-definition.toml` ส่วน `model-definition.yaml` จำเป็นเฉพาะเมื่อใช้ runtime variant `Custom` เท่านั้น โดย runtime variant แบบ preset (เช่น `vLLM`, `SGLang`, `NVIDIA NIM`, `Modular MAX`) ไม่จำเป็นต้องมี สำหรับรายละเอียดเกี่ยวกับไฟล์กำหนดบริการ โปรดดูที่ส่วน [ไฟล์กำหนดบริการ](../model_serving/model_serving.md#service-definition-file) ในเอกสารการให้บริการโมเดล ::: -การคลิกที่การ์ดโมเดลที่คุณเพิ่งสร้างจะแสดงรายละเอียดของไฟล์ model-definition ที่คุณอัปโหลด -ตอนนี้สมาชิกทุกคนในโปรเจกต์สามารถเข้าถึงการ์ดโมเดลและโคลนได้ - -![](../images/model_card_detail.png) + -:::note -เพื่อเปิดใช้งานปุ่ม "เรียกใช้รุ่นนี้" บนโมเดลการ์ด ต้องมีทั้งไฟล์ -`model-definition.yaml` และ `service-definition.toml` ในโฟลเดอร์ หากไฟล์ -ใดไฟล์หนึ่งหายไป ปุ่มจะถูกปิดใช้งาน สำหรับรายละเอียดเกี่ยวกับการสร้าง -ไฟล์กำหนดบริการ โปรดดูที่หัวข้อ -[ไฟล์กำหนดบริการ](#service-definition-file) -ในเอกสาร การให้บริการโมเดล -::: +## ฟีเจอร์สำหรับผู้ดูแลระบบ - + -## หน้า Model Store +### หน้า Admin Serving -หน้า Model Store เป็นหน้าที่ผู้ใช้สามารถเรียกดูและใช้งานโมเดลที่ผู้ดูแลระบบได้กำหนดค่าไว้ล่วงหน้า เมื่อไปที่หน้า Model Store จากแถบด้านข้าง คุณจะเห็นโมเดลการ์ดทั้งหมดที่ลงทะเบียนในโปรเจกต์ Model Store +ผู้ดูแลระบบและผู้ดูแลระบบขั้นสูงสามารถเข้าถึงหน้า Admin Serving ซึ่งให้มุมมองข้ามโปรเจกต์ของ endpoint ทั้งหมด หน้านี้แสดงคอลัมน์ **โปรเจกต์** เพิ่มเติมจากคอลัมน์รายการ endpoint มาตรฐาน ช่วยให้ผู้ดูแลระบบจัดการบริการข้ามทุกโปรเจกต์ -![](../images/model_store_page_overview.png) +![](../images/admin_serving_page.png) - +หน้า Admin Serving มีสองแท็บ: -โมเดลการ์ดแต่ละใบจะแสดงข้อมูลหลักดังนี้: +- **การให้บริการ**: แสดงรายการ endpoint ข้ามทุกโปรเจกต์ พร้อมตัวกรองวงจรชีวิตและคุณสมบัติเดียวกับหน้าการให้บริการสำหรับผู้ใช้ +- **การจัดการร้านค้าโมเดล**: มีให้เฉพาะผู้ดูแลระบบขั้นสูง ดูส่วนด้านล่าง -- ชื่อโมเดล (ชื่อโฟลเดอร์) -- เนื้อหา README (หากมีไฟล์ README ในโฟลเดอร์) -- เมตาดาต้าจากไฟล์ model-definition.yaml -- ปุ่มการดำเนินการสำหรับโต้ตอบกับโมเดล + -คลิกที่โมเดลการ์ดเพื่อเปิดมุมมองรายละเอียดที่แสดงเนื้อหา README ทั้งหมดและการดำเนินการที่สามารถใช้ได้ +### การจัดการคลังโมเดลสำหรับผู้ดูแลระบบ -![](../images/model_card_detail_with_buttons.png) +ผู้ดูแลระบบขั้นสูงสามารถจัดการการ์ดโมเดลผ่านแท็บ Model Store Management ในหน้าการให้บริการสำหรับผู้ดูแลระบบ - +![](../images/admin_model_card_list_v2.png) - +รายการมีคอลัมน์ต่อไปนี้: -### โคลนไปยังโฟลเดอร์ +- **ชื่อ (Name)**: ตัวระบุเฉพาะของการ์ดโมเดล +- **ชื่อเรื่อง (Title)**: ชื่อที่แสดงผลซึ่งมนุษย์อ่านได้ +- **หมวดหมู่ (Category)**: หมวดหมู่โมเดล (เช่น LLM) +- **งาน (Task)**: ประเภทงาน inference (เช่น text-generation) +- **ระดับการเข้าถึง (Access Level)**: แสดงแท็ก `Public` สีเขียวเมื่อการ์ดโมเดลเข้าถึงได้แบบสาธารณะ หรือแท็ก `Private` แบบเริ่มต้นเมื่อเป็นแบบส่วนตัว +- **โดเมน (Domain)**: โดเมนที่เป็นเจ้าของการ์ดโมเดล +- **โปรเจกต์ (Project)**: โปรเจกต์ที่เป็นเจ้าของการ์ดโมเดล +- **สร้างเวลา (Created At)**: เวลาที่สร้างการ์ดโมเดล -ปุ่ม "โคลนไปยังโฟลเดอร์" ช่วยให้คุณสร้างสำเนาส่วนตัวของโฟลเดอร์ Model Store เนื่องจากโฟลเดอร์ Model Store เป็นแบบอ่านอย่างเดียวและแชร์กันทั้งโปรเจกต์ คุณจึงต้องโคลนไปยังพื้นที่จัดเก็บของคุณเองเพื่อแก้ไขไฟล์หรือใช้ในเวิร์กโฟลว์ที่กำหนดเอง +คุณสามารถกรองรายการตามชื่อโดยใช้แถบตัวกรองคุณสมบัติที่ด้านบน ไอคอนแก้ไขและลบจะแสดงอยู่ในเซลล์ชื่อของแต่ละแถวโดยตรง -ในการโคลนโฟลเดอร์โมเดล: +หากต้องการลบการ์ดโมเดลหลายรายการในคราวเดียว ให้เลือกแถวที่ต้องการลบโดยใช้ช่องทำเครื่องหมาย จากนั้นคลิกปุ่มถังขยะสีแดงถัดจากจำนวนที่เลือก กล่องโต้ตอบยืนยันจะปรากฏขึ้นก่อนที่การ์ดจะถูกลบ -1. คลิกปุ่ม "โคลนไปยังโฟลเดอร์" บนโมเดลการ์ด -2. กำหนดค่าการตั้งค่าต่อไปนี้ในกล่องโต้ตอบการโคลน: - - **ชื่อโฟลเดอร์**: ชื่อสำหรับโฟลเดอร์ที่โคลน (ค่าเริ่มต้นจะเพิ่มคำต่อท้ายแบบสุ่มต่อชื่อเดิม) - - **สิทธิ์**: ตั้งค่าสิทธิ์การเข้าถึงสำหรับโฟลเดอร์ที่โคลน (อ่านอย่างเดียว หรือ อ่าน-เขียน) - - **โหมดการใช้งาน**: เลือกประเภทโฟลเดอร์ (ทั่วไป, โมเดล หรือ ต่อเชื่อมอัตโนมัติ) -3. คลิกปุ่ม "โคลน" เพื่อเริ่มกระบวนการโคลน - -![](../images/model_store_clone_dialog.png) - - - -:::note -ปัจจุบันการโคลนโฟลเดอร์รองรับเฉพาะภายในโฮสต์จัดเก็บเดียวกันเท่านั้น -::: +#### การสร้างการ์ดโมเดล -เมื่อการโคลนเสร็จสิ้น โฟลเดอร์ใหม่จะปรากฏในแท็บที่เกี่ยวข้องบนหน้าข้อมูล ตามโหมดการใช้งานที่เลือก +คลิกปุ่ม `Create Model Card` เพื่อเปิดโมดอลการสร้าง กรอกฟิลด์ต่อไปนี้: - - -### สร้างบริการจากโมเดลนี้ - -ปุ่ม "เรียกใช้รุ่นนี้" ช่วยให้คุณสร้างบริการโมเดลได้โดยตรงจากโมเดลการ์ดด้วยการคลิกเพียงครั้งเดียว ฟีเจอร์นี้จะทำให้กระบวนการโคลนโฟลเดอร์โมเดลและสร้างเอ็นด์พอยท์ของบริการโมเดลเป็นไปโดยอัตโนมัติ - -:::note -เพื่อเปิดใช้งานปุ่มนี้ ต้องเป็นไปตามเงื่อนไขต่อไปนี้: - -- ต้องมีทั้งไฟล์ `model-definition.yaml` และ `service-definition.toml` ในโฟลเดอร์โมเดล หากไฟล์ใดไฟล์หนึ่งหายไป ปุ่มจะถูกปิดใช้งานและจะแสดงคำแนะนำเครื่องมือระบุว่าต้องการไฟล์ใด -- มีโควตาทรัพยากรเพียงพอสำหรับสร้างบริการโมเดล -- กลุ่มทรัพยากรอนุญาตประเภทเซสชันการอนุมาน - ::: - - - -#### เวิร์กโฟลว์การสร้างบริการ - -เมื่อคุณคลิกปุ่ม "เรียกใช้รุ่นนี้" Backend.AI จะดำเนินตามเวิร์กโฟลว์ต่อไปนี้: - -1. **ตรวจสอบไฟล์ที่จำเป็น**: ระบบจะตรวจสอบว่ามีทั้ง model-definition.yaml และ service-definition.toml อยู่ในโฟลเดอร์ - -2. **โคลนโฟลเดอร์ (หากจำเป็น)**: หากยังไม่มีสำเนาโคลนของโฟลเดอร์โมเดล: - - จะมีกล่องโต้ตอบยืนยันถามว่าต้องการโคลนโฟลเดอร์หรือไม่ - - โฟลเดอร์จะถูกโคลนด้วยชื่อในรูปแบบ `{ชื่อเดิม}-{อักขระสุ่ม 4 ตัว}` - - การแจ้งเตือนจะแสดงความคืบหน้าของการโคลน - -![](../images/model_service_clone_confirmation.png) - - - -3. **สร้างบริการ**: เมื่อโฟลเดอร์พร้อมแล้ว (จากการโคลนก่อนหน้าหรือการโคลนใหม่): - - บริการจะถูกสร้างโดยอัตโนมัติโดยใช้การตั้งค่าจาก service-definition.toml - - การแจ้งเตือนจะแสดงความคืบหน้าของการสร้างบริการ - - คลิกการแจ้งเตือนเพื่อไปยังหน้าการให้บริการโมเดล - -![](../images/model_service_creation_progress.png) - - - -4. **ตรวจสอบรายละเอียดบริการ**: เมื่อสร้างเสร็จแล้ว ไปที่หน้าการให้บริการโมเดลเพื่อตรวจสอบรายละเอียดเอ็นด์พอยท์ ตรวจสอบสถานะบริการ และจัดการบริการ - -![](../images/model_service_created_detail.png) - - - -:::note -หากมีโฟลเดอร์ที่โคลนจากการดำเนินการก่อนหน้าอยู่แล้ว ระบบจะใช้โฟลเดอร์นั้น -โดยอัตโนมัติเพื่อสร้างบริการ ในรุ่นอนาคตจะสามารถเลือกได้ว่าจะใช้โฟลเดอร์ -โคลนใดเมื่อมีสำเนาหลายรายการ -::: +- **ชื่อ (Name)** (จำเป็น): ตัวระบุเฉพาะสำหรับการ์ดโมเดล +- **ชื่อเรื่อง (Title)**: ชื่อที่แสดงที่มนุษย์อ่านได้ +- **คำอธิบาย (Description)**: คำอธิบายรายละเอียดของโมเดล +- **ผู้เขียน (Author)**: ผู้สร้างโมเดลหรือองค์กร +- **เวอร์ชันโมเดล (Model Version)**: เวอร์ชันของโมเดล +- **งาน (Task)**: ประเภท task inference (เช่น text-generation) +- **หมวดหมู่ (Category)**: หมวดหมู่โมเดล (เช่น LLM) +- **เฟรมเวิร์ก (Framework)**: ML framework ที่ใช้ (เช่น PyTorch, TensorFlow) +- **ป้ายกำกับ (Label)**: แท็กสำหรับการจัดหมวดหมู่และการกรอง +- **สัญญาอนุญาต (License)**: สัญญาอนุญาตที่โมเดลถูกเผยแพร่ +- **สถาปัตยกรรม (Architecture)**: สถาปัตยกรรมโมเดล (เช่น Transformer) +- **README**: README มาร์กดาวน์สำหรับโมเดล +- **โดเมน (Domain)**: โดเมนที่จะเชื่อมโยงการ์ดโมเดล +- **Project ID** (จำเป็น): โปรเจกต์ที่เป็นเจ้าของการ์ดโมเดล +- **VFolder** (จำเป็น): โฟลเดอร์จัดเก็บที่มีไฟล์โมเดล +- **ระดับการเข้าถึง (Access Level)**: ควบคุมว่าใครสามารถเห็นการ์ดโมเดลใน Model Store สำหรับผู้ใช้ - + * `Internal`: มองเห็นได้เฉพาะผู้ดูแลระบบของโดเมนและโปรเจกต์ที่เป็นเจ้าของเท่านั้น ผู้ใช้ทั่วไปจะไม่เห็นการ์ด Internal ใน Model Store ของตน + * `Public`: มองเห็นได้โดยผู้ใช้ทุกคนที่มีสิทธิ์เข้าถึงโปรเจกต์ที่เป็นเจ้าของ -#### การแก้ไขปัญหา +#### การแก้ไขการ์ดโมเดล -หากการสร้างบริการล้มเหลว: +คลิกไอคอนแก้ไขถัดจากชื่อการ์ดโมเดลเพื่อแก้ไขการ์ดโมเดลที่มีอยู่ โมดอลแก้ไขจะเปิดขึ้นพร้อมฟิลด์ที่ป้อนไว้ก่อนหน้านี้ -- ตรวจสอบว่ารูปแบบของ model-definition.yaml และ service-definition.toml ถูกต้อง -- ตรวจสอบว่าโควตาทรัพยากรอนุญาตให้สร้างบริการโมเดลใหม่ -- ตรวจสอบข้อความข้อผิดพลาดในสถานะบริการบนหน้าการให้บริการโมเดล -- สำหรับขั้นตอนการแก้ไขปัญหาโดยละเอียด โปรดดูเอกสาร [การให้บริการโมเดล](#model-serving) +#### การลบการ์ดโมเดล -สำหรับข้อมูลเพิ่มเติมเกี่ยวกับบริการโมเดล การกำหนดค่าบริการ และการจัดการเอ็นด์พอยท์ โปรดดูเอกสาร [การให้บริการโมเดล](#model-serving) +คุณสามารถลบการ์ดโมเดลแต่ละรายการโดยคลิกไอคอนลบถัดจากชื่อการ์ด หรือทำการลบจำนวนมากโดยเลือกการ์ดโมเดลหลายรายการด้วยช่องทำเครื่องหมาย จากนั้นคลิกปุ่มถังขยะสีแดงถัดจากจำนวนที่เลือก diff --git a/packages/backend.ai-webui-docs/src/th/model_serving/model_serving.md b/packages/backend.ai-webui-docs/src/th/model_serving/model_serving.md index ca579ad50a..3e6a1bb93f 100644 --- a/packages/backend.ai-webui-docs/src/th/model_serving/model_serving.md +++ b/packages/backend.ai-webui-docs/src/th/model_serving/model_serving.md @@ -155,7 +155,7 @@ models: -**คำอธิบายการดำเนินการบริการที่รองรับใน Backend.AI Model Serving** +**คำอธิบายการดำเนินการบริการที่รองรับใน Backend.AI การให้บริการโมเดล** - `write_file`: การดำเนินการเพื่อสร้างไฟล์ด้วยชื่อไฟล์ที่กำหนดและเพิ่มเนื้อหา @@ -244,7 +244,7 @@ MODEL_NAME = "example-model-name" ::: :::note -เมื่อบริการถูกสร้างขึ้นจาก Model Store โดยใช้ปุ่ม `Deploy` การตั้งค่าจาก `service-definition.toml` จะถูกนำไปใช้โดยอัตโนมัติ หากคุณต้องการปรับการจัดสรรทรัพยากรในภายหลัง คุณสามารถแก้ไขบริการผ่านหน้า Model Serving +เมื่อบริการถูกสร้างขึ้นจาก Model Store โดยใช้ปุ่ม `Deploy` การตั้งค่าจาก `service-definition.toml` จะถูกนำไปใช้โดยอัตโนมัติ หากคุณต้องการปรับการจัดสรรทรัพยากรในภายหลัง คุณสามารถแก้ไขบริการผ่านหน้า Serving ได้ ::: ## ภาพรวมหน้า Serving @@ -613,7 +613,7 @@ SGLang มีแท็บดังต่อไปนี้: **Model Loading**, * ### การแก้ไขบริการ -คลิกปุ่ม `Edit` บนหน้ารายละเอียด endpoint เพื่อแก้ไขบริการโมเดล ตัวเปิดใช้บริการจะเปิดขึ้นพร้อมฟิลด์ที่ป้อนไว้ก่อนหน้านี้ คุณสามารถเลือกแก้ไขเฉพาะฟิลด์ที่คุณต้องการเปลี่ยนแปลง หลังจากแก้ไขฟิลด์แล้ว ให้คลิก `Confirm` เพื่อใช้การเปลี่ยนแปลง +คลิกปุ่ม `Edit` บนหน้ารายละเอียด endpoint เพื่อแก้ไขบริการโมเดล ตัวเปิดใช้บริการจะเปิดขึ้นพร้อมฟิลด์ที่ป้อนไว้ก่อนหน้านี้ คุณสามารถเลือกแก้ไขเฉพาะฟิลด์ที่คุณต้องการเปลี่ยนแปลง หลังจากแก้ไขฟิลด์แล้ว ให้คลิก `Update` เพื่อใช้การเปลี่ยนแปลง ![](../images/edit_model_service.png) @@ -640,7 +640,7 @@ SGLang มีแท็บดังต่อไปนี้: **Model Loading**, * คุณสามารถแบ่งปันค่า service endpoint พร้อมกับโทเค็นที่สร้างขึ้นก่อนหน้านี้ นี่คือคำสั่ง `curl` ง่ายๆ เพื่อตรวจสอบว่าการส่งคำขอไปยัง -model serving endpoint ทำงานอย่างถูกต้องหรือไม่: +endpoint การให้บริการโมเดล ทำงานอย่างถูกต้องหรือไม่: ```bash $ export API_TOKEN="" @@ -684,7 +684,7 @@ endpoint ได้ หากบริการถูกสร้างในเ -## Model Store +## คลังโมเดล คลังโมเดล (Model Store) ให้บริการแกลเลอรีแบบการ์ดของโมเดลที่กำหนดค่าไว้ล่วงหน้าซึ่งคุณสามารถเรียกดู ค้นหา และ deploy ได้ คุณสามารถเข้าถึงคลังโมเดลได้จากเมนูด้านข้าง @@ -720,10 +720,6 @@ endpoint ได้ หากบริการถูกสร้างในเ ![](../images/model_card_detail_drawer.png) -### การโคลนโมเดล - -ในการโคลนโฟลเดอร์โมเดล ให้ใช้หน้า [Data](../vfolder/vfolder.md) โดยตรง Drawer ของ Model Store ไม่มีปุ่ม Clone เฉพาะ - ### การ Deploy โมเดล คลิกปุ่ม `Deploy` ในส่วนหัวของ Drawer เพื่อ deploy โมเดลเป็นบริการ ขั้นตอนการ deploy ทำงานได้ด้วยหนึ่งในสองรูปแบบ: @@ -743,68 +739,4 @@ endpoint ได้ หากบริการถูกสร้างในเ จะถูกปิดใช้งาน และการ deploy จะถูกปิดกั้นจนกว่าจะมี preset ที่เข้ากันได้ ::: -## ฟีเจอร์สำหรับผู้ดูแลระบบ - -### หน้า Admin Serving - -ผู้ดูแลระบบและผู้ดูแลระบบขั้นสูงสามารถเข้าถึงหน้า Admin Serving ซึ่งให้มุมมองข้ามโปรเจกต์ของ endpoint ทั้งหมด หน้านี้แสดงคอลัมน์ **โปรเจกต์** เพิ่มเติมจากคอลัมน์รายการ endpoint มาตรฐาน ช่วยให้ผู้ดูแลระบบจัดการบริการข้ามทุกโปรเจกต์ - -![](../images/admin_serving_page.png) - -หน้า Admin Serving มีสองแท็บ: - -- **การให้บริการ**: แสดงรายการ endpoint ข้ามทุกโปรเจกต์ พร้อมตัวกรองวงจรชีวิตและคุณสมบัติเดียวกับหน้าการให้บริการสำหรับผู้ใช้ -- **การจัดการร้านค้าโมเดล**: มีให้เฉพาะผู้ดูแลระบบขั้นสูง ดูส่วนด้านล่าง - -### การจัดการคลังโมเดลสำหรับผู้ดูแลระบบ - -ผู้ดูแลระบบขั้นสูงสามารถจัดการการ์ดโมเดลผ่านแท็บ Model Store Management ในหน้าการให้บริการสำหรับผู้ดูแลระบบ - -![](../images/admin_model_card_list_v2.png) - -รายการมีคอลัมน์ต่อไปนี้: - -- **ชื่อ (Name)**: ตัวระบุเฉพาะของการ์ดโมเดล -- **ชื่อเรื่อง (Title)**: ชื่อที่แสดงผลซึ่งมนุษย์อ่านได้ -- **หมวดหมู่ (Category)**: หมวดหมู่โมเดล (เช่น LLM) -- **งาน (Task)**: ประเภทงาน inference (เช่น text-generation) -- **ระดับการเข้าถึง (Access Level)**: แสดงแท็ก `Public` สีเขียวเมื่อการ์ดโมเดลเข้าถึงได้แบบสาธารณะ หรือแท็ก `Private` แบบเริ่มต้นเมื่อเป็นแบบส่วนตัว -- **โดเมน (Domain)**: โดเมนที่เป็นเจ้าของการ์ดโมเดล -- **โปรเจกต์ (Project)**: โปรเจกต์ที่เป็นเจ้าของการ์ดโมเดล -- **สร้างเวลา (Created At)**: เวลาที่สร้างการ์ดโมเดล - -คุณสามารถกรองรายการตามชื่อโดยใช้แถบตัวกรองคุณสมบัติที่ด้านบน ไอคอนแก้ไขและลบจะแสดงอยู่ในเซลล์ชื่อของแต่ละแถวโดยตรง - -หากต้องการลบการ์ดโมเดลหลายรายการในคราวเดียว ให้เลือกแถวที่ต้องการลบโดยใช้ช่องทำเครื่องหมาย จากนั้นคลิกปุ่มถังขยะสีแดงถัดจากจำนวนที่เลือก กล่องโต้ตอบยืนยันจะปรากฏขึ้นก่อนที่การ์ดจะถูกลบ - -#### การสร้างการ์ดโมเดล - -คลิกปุ่ม `Create Model Card` เพื่อเปิดโมดอลการสร้าง กรอกฟิลด์ต่อไปนี้: - -- **ชื่อ (Name)** (จำเป็น): ตัวระบุเฉพาะสำหรับการ์ดโมเดล -- **ชื่อเรื่อง (Title)**: ชื่อที่แสดงที่มนุษย์อ่านได้ -- **คำอธิบาย (Description)**: คำอธิบายรายละเอียดของโมเดล -- **ผู้เขียน (Author)**: ผู้สร้างโมเดลหรือองค์กร -- **เวอร์ชันโมเดล (Model Version)**: เวอร์ชันของโมเดล -- **งาน (Task)**: ประเภท task inference (เช่น text-generation) -- **หมวดหมู่ (Category)**: หมวดหมู่โมเดล (เช่น LLM) -- **เฟรมเวิร์ก (Framework)**: ML framework ที่ใช้ (เช่น PyTorch, TensorFlow) -- **ป้ายกำกับ (Label)**: แท็กสำหรับการจัดหมวดหมู่และการกรอง -- **สัญญาอนุญาต (License)**: สัญญาอนุญาตที่โมเดลถูกเผยแพร่ -- **สถาปัตยกรรม (Architecture)**: สถาปัตยกรรมโมเดล (เช่น Transformer) -- **README**: README มาร์กดาวน์สำหรับโมเดล -- **โดเมน (Domain)**: โดเมนที่จะเชื่อมโยงการ์ดโมเดล -- **Project ID** (จำเป็น): โปรเจกต์ที่เป็นเจ้าของการ์ดโมเดล -- **VFolder** (จำเป็น): โฟลเดอร์จัดเก็บที่มีไฟล์โมเดล -- **ระดับการเข้าถึง (Access Level)**: ควบคุมว่าใครสามารถเห็นการ์ดโมเดลใน Model Store สำหรับผู้ใช้ - - * `Internal`: มองเห็นได้เฉพาะผู้ดูแลระบบของโดเมนและโปรเจกต์ที่เป็นเจ้าของเท่านั้น ผู้ใช้ทั่วไปจะไม่เห็นการ์ด Internal ใน Model Store ของตน - * `Public`: มองเห็นได้โดยผู้ใช้ทุกคนที่มีสิทธิ์เข้าถึงโปรเจกต์ที่เป็นเจ้าของ - -#### การแก้ไขการ์ดโมเดล - -คลิกไอคอนแก้ไขถัดจากชื่อการ์ดโมเดลเพื่อแก้ไขการ์ดโมเดลที่มีอยู่ โมดอลแก้ไขจะเปิดขึ้นพร้อมฟิลด์ที่ป้อนไว้ก่อนหน้านี้ - -#### การลบการ์ดโมเดล -คุณสามารถลบการ์ดโมเดลแต่ละรายการโดยคลิกไอคอนลบถัดจากชื่อการ์ด หรือทำการลบจำนวนมากโดยเลือกการ์ดโมเดลหลายรายการด้วยช่องทำเครื่องหมาย จากนั้นคลิกปุ่มถังขยะสีแดงถัดจากจำนวนที่เลือก