技術者以外のユーザーが知識を提供してモデルの応答性向上に貢献できるようにする

Red Hat のすべての製品リリースにおいて、ユーザーエクスペリエンス設計チーム (UXD) は、お客様からのフィードバックや知見に直接関連しているものを実装することを優先しています。RHEL AI のような新しい製品の場合、創造性を発揮する必要がありました。エクスペリエンスを継続的に改善するために、次回のリリースに向けて使用したフィードバックチャネルには、アップストリーム・コミュニティのエンゲージメント、Slack を介したユーザーからの直接のフィードバック、社内チームメンバーへのインタビュー、RHEL AI の導入に関心がある AI ユーザーや愛好家へのインタビュー、当社の競争環境の調査が含まれています。これにより、RHEAL AI 1.4 リリース以降の設計作業に必要な情報を得ることができました。

いくつかの新しい主要機能は以下のとおりです。

• ドキュメント変換：アップロードしたファイルを自動的にマークダウンに変換する機能です。ユーザーは PDF、HTML、ASCII ドキュメントなどをアップロードできるようになり、これらがマークダウンに変換されます。
• モデルのチャット評価：ユーザーがモデルの応答を評価できるようになります。

Contribution Experience (コントリビューション・エクスペリエンス)

現在、開発プレビューで提供されている Contribution Experience は、各分野のエキスパートが YAML を理解していなくても知識を提供できるようにするための、グラフィカル・ユーザー・インタフェース (GUI) です。これにより、知識を提供してモデルを改善するために必要な技術的専門知識の壁が軽減されます。詳細については、12 月に当社のエンジニアが執筆した素晴らしいブログをご覧ください。

開発プレビューのために、いくつかの領域で改善に注力しました。それらの領域の具体例を見ていきましょう。

知識の形式化

お客様からのフィードバック：

YAML の編集は依然として大きな悩みの種であり、その課題についてほとんどのユーザーから継続的にフィードバックが寄せられています。特に、技術分野に詳しくない専門家にとっては扱いが困難です。データ入力は全体的に面倒な作業であり、何が必須で何が任意かが常に明確なわけではないため、不適切なインデントや末尾の空白などが原因でエラーが発生することがよくあります。

1.4 への対応：

Red Hat は、Knowledge Contribution の UI の改善を継続し、モデルの応答やパフォーマンスに影響を与えることなく摩擦ポイントを削減しています。この次のイテレーションで、UXD は長文のフォームをウィザードに移行するよう提案しました。これにより、ユーザーはプロセスを通じてガイドが得られるようになるとともに、各ステップを問題なく進められているという確信が得られます。

また、ドキュメントがアップロードされると、自動的にマークダウンに変換されます。 

モデルとチャットするためのエンドポイントの追加

ユーザーが独自のカスタムモデルとチャットできるように、カスタムモデルのエンドポイント・エクスペリエンスを継続的に改善しています。

カスタムモデルにアクセスするには、ユーザーがプラットフォーム内に専用の「チャット」エンドポイントを設定する必要があります。これにより、メッセージが会話形式で送信され、会話全体でコンテキストが維持された応答を受け取ることができます。これには、チャットを行うために、対象モデルと認証情報の指定、およびチャットにリクエストを送信するための API エンドポイント URL の指定が必要になります。

お客様からのフィードバック： 

最初のイテレーションで作成したエンドポイントのリスト (リストビューと呼ばれる) には、ユーザーがエンドポイントの機能を活用してカスタムモデルとチャットするための有用なコンテキストが欠けていました。さらに、チャットとモデル・エクスペリエンスとの明確なつながりがなかったので、ワークフローをより緊密に連携させるための取り組みが要求されました。

検討している今後の改善内容：

• ヘルスチェック・ステータス：ユーザーがエンドポイントの可用性に関する問題を迅速に特定できるように、ヘルスチェック・ステータスの列を追加します。
• アクション：ユーザーがエンドポイントの接続をすばやく有効または無効にできるボタンを追加します。編集および削除用の PatternFly ケバブアイコンをオーバーフローメニューに提供します。
• 詳細：API キーが最後に変更された時刻や分類パスへのリンクなど、追加の詳細を表示するために開くことができるサイドドロワーを追加します。
• URL：コピーアイコンを追加して、ユーザーが URL をすばやくコピーできるようにします。
• デフォルトのソート：直近に作成されたものを最上部にソートする機能を含めます。

モデルとのチャット

エクスペリエンスにおいて、ユーザーがモデルとチャットしたいポイントが数多くあります。たとえば以下のような質問への回答が必要な場合があります。

• モデルの応答にあるギャップをより深く理解するための、「探しているデータがモデルに存在するか？」という質問
• ベースモデルの応答とカスタムモデルの応答を比較するための、「モデルを改善できたか？」という質問

最終的にユーザーは、ベースモデル、InstructLab のファインチューニング機能でカスタマイズしたファインチューニング済みのモデル、RAG 機能を組み合わせた InstructLab のファインチューニング済みモデルを比較したいと考える場合があります。

何を学んだか：

最初のイテレーションでは、非常に基本的なチャットボットでした。ソース情報を表示したり、モデルの応答に対してアクションを実行したりする機能はなく、モデルエンドポイントのワークフローから切り離されていました。音声テキスト変換のアクセシビリティもありませんでした。

1.4 への対応：

チャットインタフェースを改善し、このワークフローから直接、カスタムモデルのエンドポイントを追加できるようにしました。

検討している今後の改善内容：

• モデルの応答に使用されるソースを確認してアクションを実行する機能 (良い、良くない、コピー、ダウンロード、再生成)
• メッセージを手動で入力するのではなく、音声を使用してメッセージを作成
• コンテキストに即した追加のヘルプを提供

次のステップ

現在、次のような多数の画期的な改善や新機能を開発中です。

• 合成データの生成とトレーニング
• 新しいファインチューニング済みモデルのベースモデルに対する評価
• CLI 不要で完全にエンドツーエンドのチューニング

お問い合わせください

Red Hat は常に、お客様第一の姿勢で RHEL AI の改良を拡大し、進化させています。今後のリリースでのさらなる機能強化にご注目ください。ぜひ登録して、今後の調査活動に参加し、RHEL AI に関するご自身の経験を共有してください。

また、InstructLab コミュニティに参加し、アップストリーム UI を確認して (これらの機能のサブセットを利用できます)、ご意見をお聞かせください。ぜひ、皆様のようなユーザーとつながりたいと考えております。