지식 추출과 데이터 활용: Ask Sage로 데이터 훈련하기

Find AI Tools

No difficulty

No complicated process

Find ai tools

Home AI News KR 지식 추출과 데이터 활용: Ask Sage로 데이터 훈련하기

지식 추출과 데이터 활용: Ask Sage로 데이터 훈련하기

Table of Contents:

서문
데이터 훈련을 통한 지식 추출과 실제 데이터 활용
데이터 세트 생성하기
파일 콘텐츠 인식 및 추출
데이터 정제와 요약
질문과 답변을 통한 데이터 검색
데이터 세트 내 결과 검색
데이터 세트 및 결과 삭제하기
데이터 접근 권한 할당하기
결론

서문

안녕하세요! Nick Shalom입니다. 이번 글에서는 기업 데이터를 이용하여 Ass AG를 훈련시키고 실제 데이터에 대한 지식을 추출하는 방법에 대해 알아보겠습니다. 이 단계별 방법을 따라하면 환각을 제한하고 더욱 사실적인 결과를 얻을 수 있습니다. 본 글에서는 간단한 예시를 통해 훈련 과정을 알아볼 것이며, Ass AG와 관련된 동영상도 함께 살펴볼 예정입니다. 저희는 물론 API를 통해 동일한 작업을 할 수도 있지만, 이번 글에서는 플러그인을 사용한 과정을 진행할 것입니다.

데이터 훈련을 통한 지식 추출과 실제 데이터 활용

기사의 강조 포인트:

Enterprise 데이터를 활용하여 Ass AG 훈련
사실적이고 정확한 결과 도출을 위한 훈련 과정 안내
데이터 훈련 및 검색을 위한 API 및 플러그인 사용

본문 시작:

안녕하세요! Nick Shalom입니다. 저는 공군 및 우주군 전공의 전 공군 및 우주군 기술관리본부(CSO)이자 Ass AG입니다. 오늘 이 비디오에서는 기업 데이터를 이용하여 Ass AG를 훈련시키는 방법에 대해 심도 있게 알아보겠습니다. 이를 통해 데이터를 실제 지식으로 활용하고 어려움 없이 사실에 기반한 결과를 얻을 수 있습니다. 이 과정은 간단한 예시를 통해 안내하겠습니다. 또한, 실시간 데이터를 데이터베이스와 API에 직접 통합하는 딥 다이브 동영상을 함께 살펴보시기 바랍니다. 하지만, 여기서는 단순한 문서를 통해 과정을 안내하겠습니다. 하지만, 수백 개의 문서까지 확장할 수 있습니다. 우리는 플러그인을 이용한 여러 단계를 효과적으로 안내할 것이며, 동일한 업무를 수행하기 위한 API도 지원하고 있습니다. 그러면 시작해봅시다!

데이터 세트 생성하기

첫 번째 단계는 이 작업을 위한 데이터 세트를 만드는 것입니다. 여러 파일을 동일한 데이터 세트에 넣을 수도 있지만, 데이터를 너무 많이 포함하는 것은 시스템을 혼동시킬 수 있습니다. 데이터의 양이 클 경우, 데이터 세트를 다른 데이터 버킷으로 자르는 것이 좋습니다. 이러한 점을 고려하여 데이터 세트를 만들어 보겠습니다. 제가 "Vets Guardian"라는 이름의 데이터 세트를 만들겠습니다. 이렇게 생성하면 됩니다: slash add-data set /vets-guardian. 잘 생성되었는지 확인하기 위해 해당 데이터 세트를 선택해보겠습니다. 선택 작업은 훈련에는 필요하지 않습니다. 그러면 다음으로 플러그인을 살펴보겠습니다.

파일 콘텐츠 인식 및 추출

다양한 플러그인을 사용할 수 있습니다. 예를 들어 일반 텍스트 콘텐츠를 직접 복사하여 여기에 붙여넣거나 파일을 직접 넣을 수도 있습니다. 우리는 파일 콘텐츠 플러그인을 사용하여 추출 과정을 진행할 것입니다. 이 플러그인은 여러 단계로 구성되어 있으며, 각 단계를 살펴보겠습니다. 또한, PDF, WORD, Excel 등 다양한 파일 유형을 지원합니다. 이 문서는 Word 문서이지만, PDF나 Excel과 같은 다른 파일 유형도 사용할 수 있습니다. 하지만, 일단 Word 문서로 시작해 보겠습니다. 설정이 완료되면 문서를 선택하면 됩니다.

문서를 선택한 후에는 다양한 파일 리더 옵션을 살펴보아야 합니다. 기본 설정인 'Auto'로 대부분 사용해도 괜찮지만, 'Fast' 버전도 사용 가능합니다. 또한, 스캔된 PDF와 같은 경우, OCR로 텍스트를 인식해야 할 수도 있습니다. 예를 들어, OCR을 사용하여 PDF 내 텍스트를 인식할 수 있습니다. OCR은 완벽하지 않을 수 있지만, 텍스트를 추출하는 데 도움이 됩니다. 다음으로는 메타데이터를 추가하기 위해 간단한 연락처를 입력해야 합니다. 예를 들어 "Vets Guardian"에 대한 Ass AG 사례 연구 문서라고 적어봅시다. 다음은 PDF의 각 절단 부분으로, 2000개의 토큰 이상이 되지 않도록 주의해야 합니다. 일반적으로 2000개를 권장합니다. 마지막으로, 요약 프롬프트를 선택하십시오. 대부분의 경우 원래 설정을 그대로 사용하면 됩니다. 그러나 특정 내용을 추출하고 싶은 경우, 문서에서 X, Y, Z와 관련된 내용을 추출하도록 지정할 수도 있습니다. 내용 요약 이외에도 특정 콘텐츠를 추출할 수도 있습니다.

데이터 정제와 요약

이제 방금 만든 데이터 세트를 선택한 다음, "slash submit"을 통해 훈련을 시작할 수 있습니다. 시스템이 텍스트를 PDF에서 추출하여 자르는 작업을 수행한 후, "slash submit"을 클릭하면 됩니다. 훈련 과정이 시작됩니다. 추출된 텍스트가 올바르게 훈련되었는지 확인할 수 있는데, 이 단계에서는 데이터 세트에 대한 훈련만 진행됩니다. 문제 없이 완료되었다면, 다음 단계로 넘어갈 수 있습니다.

질문과 답변을 통한 데이터 검색

이제 질문을 하며 훈련된 Ass AG의 성능을 확인할 차례입니다. 예를 들어, 기사에서 언급한 대로, 의료 기록의 백로그 기간과 의료 기록 처리에 걸리는 평균 시간에 대한 질문을 해보겠습니다. 문제없이 정확한 답변을 받아볼 수 있습니다. 빠른 속도로 결과를 얻을 수 있으며, 이렇게 짧은 시간에 PDF를 추출할 수 있습니다. 물론 API를 사용하여 동일한 작업을 수행할 수도 있습니다. 시간을 절약하려면 ZIP 파일을 사용하여 여러 개의 PDF를 한 번에 처리할 수도 있습니다. 이 외에도 데이터 정제를 위한 요약 플러그인을 사용하여 적합한 인사이트를 추출하고 원하는 정보에 집중할 수 있습니다. 대량의 PDF 문서에서 관련 없는 정보를 제거하고, 질문에 관련된 콘텐츠만 추출하여 분석할 수 있습니다.

데이터 세트 내 결과 검색

데이터 세트에 내용을 더 직접적으로 검색해 볼 수 있는 기능도 있습니다. 예를 들어, "Vet Guardian" 데이터 세트의 모든 결과를 보여달라고 요청할 수 있습니다. 이를 통해 데이터 세트 내 결과를 더 세밀하게 검색할 수 있습니다. 위와 같은 방법으로 검색을 좁힐 수 있으며, 이와 같은 다양한 검색 쿼리를 자유롭게 생성할 수 있습니다. 데이터나 결과를 삭제해야 할 경우에도 동일한 방법을 사용할 수 있습니다. 데이터 세트나 결과를 삭제하거나 다른 팀 멤버에게 데이터 세트를 할당하는 등, 데이터에 대한 관리도 유연하게 할 수 있습니다.

데이터 접근 권한 할당하기

Ass AG 데이터 세트에 대한 엑세스 권한을 다른 사람에게 할당하는 기능도 제공됩니다. 할당하려는 데이터 세트와 이메일을 지정하여 엑세스 권한을 할당할 수 있습니다. 할당 작업은 동일한 도메인 또는 조직 내의 이메일로 제한되어야 합니다. 효율적인 업무 협업을 위해 데이터 세트를 다른 팀원과 공유하고 싶다면 이 기능을 사용해 보시기 바랍니다.

결론

이렇게 몇 초 안에 엔터프라이즈 데이터를 안전하게 훈련시키고, 제로 트러스트 레이블 기반 액세스 제어를 통해 데이터를 활용하고, 팀 멤버에게 데이터 세트를 할당하여 데이터를 쿼리하고, 인사이트를 얻을 수 있습니다. 우리는 또한 실시간 연결 프로그램을 통해 데이터베이스와 API에 자동으로 접근할 수도 있습니다. 동기화된 시간을 기준으로 훈련된 모델과는 다른 방식입니다. Discord에서 우리와 함께 의논하고, sales@assag.io로 이메일을 보내 질문을 해 주시기 바랍니다.

Highlights: