비기술직 사용자가 지식을 기여하고 모델 응답을 향상하도록 돕기

Red Hat(UXD)의 사용자 환경 설계 팀은 Red Hat 제품의 모든 릴리스에서 고객 피드백 및 인사이트와 직접적으로 관련된 작업을 우선적으로 구현합니다. RHEL AI와 같은 초기 단계의 제품의 경우 창의적인 방법을 모색해야 했습니다. 경험을 지속적으로 개선하기 위해 이번 릴리스에서 사용한 피드백 채널에는 업스트림 커뮤니티 참여 및 Slack을 통한 사용자의 직접적인 피드백, 내부 팀원과의 인터뷰, RHEL AI 도입에 관심이 있을 수 있는 AI 사용자 및 적극적인 지지자와의 인터뷰, Red Hat의 경쟁 환경 탐색이 있습니다. 이를 통해 RHEAL AI 1.4 릴리스 이후의 설계 작업에 도움을 얻을 수 있었습니다.

다음과 같은 새로운 주요 기능을 소개합니다.

• 문서 변환 - 업로드된 파일을 자동으로 마크다운으로 변환하는 기능을 활성화합니다. 이제 사용자는 PDF, HTML, ASCII 문서 등을 업로드할 수 있으며 이러한 문서는 마크다운으로 변환됩니다.
• 모델 채팅 평가 - 사용자가 모델 응답을 평가할 수 있습니다.

기여 경험

현재 개발자 프리뷰로 제공되는 기여 경험은 분야별 전문가가 YAML을 이해하지 않아도 지식을 제출하기 위한 입력을 작성할 수 있도록 돕는 그래픽 사용자 인터페이스(GUI)로, 지식 기여와 모델 응답 개선에 필요한 기술 전문성의 장벽을 낮춰줍니다. 자세한 내용과 배경지식은 12월에 Red Hat의 엔지니어링 직원들이 작성한 블로그를 참조하세요.

개발자 프리뷰를 위해 중점적으로 개선한 영역의 몇 가지 구체적인 예를 살펴보겠습니다.

지식 포맷팅

Red Hat이 받은 피드백:

YAML 편집은 여전히 상당한 고충점으로 남아 있으며, 대부분의 사용자로부터 문제점을 중심으로 하는 지속적인 피드백을 받게 됩니다. 특히 비기술적인 분야별 전문가의 경우 이를 다루기가 어렵습니다. 데이터를 입력하는 전반적인 작업이 버겁게 느껴질 수 있습니다. 무엇이 필수이고 무엇이 선택인지 항상 명확하지 않으며, 부적절한 들여쓰기, 뒤에 붙는 공백 등으로 인해 오류가 발생하는 경우가 많습니다.

1.4 버전에 대한 Red Hat의 대응 방식:

Red Hat은 지식 기여 UI를 지속적으로 반복하고 개선하여 모델 응답 및 성능에 영향을 주지 않으면서 마찰 지점을 줄이고자 합니다. 다음 반복에서는 UXD가 긴 형식을 마법사로 이동할 것을 권장하여 프로세스 전반에서 사용자를 가이드하고 모든 단계에서 진행되고 있다는 확신을 얻을 수 있도록 했습니다.

또한 문서가 업로드되면 자동으로 마크다운으로 변환됩니다. 

모델과 채팅할 엔드포인트 추가

사용자가 자신의 사용자 정의 모델과 채팅할 수 있도록 Red Hat은 사용자 정의 모델 엔드포인트 경험을 지속적으로 개선하고 있습니다.

사용자 정의 모델에 액세스하려면 사용자는 플랫폼 내에 전용 '채팅' 엔드포인트를 설정해야 합니다. 이 엔드포인트를 통해 메시지를 대화 형식으로 전송하고 상호작용 전반에 걸쳐 컨텍스트를 유지하는 응답을 수신할 수 있습니다. 여기에는 채팅 상호작용을 위해 요청을 보낼 때 원하는 모델, 인증 세부 정보 및 API 엔드포인트 URL을 지정하는 작업이 포함됩니다.

Red Hat이 받은 피드백: 

첫 번째 반복에서는 생성된 엔드포인트 목록(목록 보기라고 함)에 사용자가 엔드포인트의 기능을 성공적으로 활용하고 사용자 정의 모델과 채팅할 수 있는 유용한 컨텍스트가 누락되었습니다. 또한 모델 경험을 바탕으로 한 채팅과 명확한 연관성이 없었기 때문에 워크플로우를 더욱 긴밀하게 통합해 달라는 요청이 많았습니다.

향후 고려 중인 개선 사항:

• 상태 점검 상태 - 사용자가 엔드포인트 가용성 문제를 신속하게 식별할 수 있도록 상태 점검 상태 열을 추가합니다.
• 작업 - 사용자가 엔드포인트 연결을 빠르게 활성화하거나 비활성화할 수 있는 버튼을 추가합니다. 편집 및 삭제를 위한 PatternFly 케밥 아이콘이 있는 오버플로우 메뉴를 제공합니다.
• 세부 정보 - API 키가 마지막으로 변경된 시간 및 분류 체계 경로에 대한 링크와 같은 추가 세부 정보를 보기 위해 열 수 있는 측면 드로어를 추가합니다.
• URL - 사용자가 URL을 빠르게 복사할 수 있도록 복사 아이콘을 추가합니다.
• 기본 정렬 - 가장 최근에 생성된 항목을 상단에 정렬하는 기능을 포함합니다.

모델과 채팅

경험에는 사용자가 모델과 채팅할 수 있는 여러 지점이 있습니다. 예를 들면 다음과 같습니다.

• 모델 응답의 차이를 더 잘 이해하기 위해 모델에 내가 찾고 있는 데이터가 있습니까? 라는 질문에 답합니다.
• 기본 모델 응답을 사용자 정의 모델 응답과 비교하기 위해 모델을 개선했습니까? 라는 질문에 답합니다.

궁극적으로 사용자는 기본 모델, InstructLab 미세 조정 기능으로 사용자 정의된 미세 조정 모델 및 RAG 기능과 결합된 InstructLab 미세 조정 모델을 비교하고자 할 수 있습니다.

학습한 내용:

첫 번째 반복은 소스 정보를 보고 모델 응답에 대한 조치를 취할 수 있는 기능이 부족하고 모델 엔드포인트 워크플로우에서 격리된 매우 기본적인 챗봇 경험이었습니다. 음성을 텍스트로 변환하는 접근성도 부족했습니다.

1.4 버전에 대한 Red Hat의 대응 방식:

채팅 인터페이스의 개선 사항에는 이 워크플로우에서 직접 사용자 정의 모델 엔드포인트를 추가하는 기능이 포함됩니다.

향후 고려 중인 개선 사항:

• 모델의 응답에 사용된 소스를 검토하고 조치(좋아요, 싫어요, 복사, 다운로드, 재생성)를 취할 수 있는 기능
• 메시지를 수동으로 입력하는 대신 오디오를 사용하여 메시지 생성
• 상황에 맞는 추가 도움말 제공

다음 단계는?

다음과 같은 여러 흥미로운 개선 사항과 새로운 기능을 준비 중입니다.

• 합성 데이터 생성 및 교육
• 기본 모델에 대해 새롭게 미세 조정된 모델 평가
• CLI를 사용하지 않고도 완전한 엔드 투 엔드 튜닝

Red Hat과 소통하세요

Red Hat은 항상 고객 우선 관점에서 RHEL AI에 대한 개선 사항을 확장하고 발전시키고 있습니다. 향후 릴리스에서 더 많은 개선 사항을 확인하세요. 지금 등록하고 향후 연구 활동에 참여하여 RHEL AI 경험을 공유하세요.

또한 Red Hat의 InstructLab 커뮤니티에 참여하여 업스트림 UI(이러한 기능의 하위 집합은 여기에서 사용할 수 있음)를 확인하고 의견을 공유해 주세요. 여러분과 같은 사용자와 소통하고 싶습니다.