인공지능(AI) 및 마이크로소프트(Microsoft) 솔루션 구축 전문 기업 프로텐(대표 박재완)은 대규모 언어 모델 운영(LLMOps) 솔루션인 ProLLMOps를 2.0 버전으로 업그레이드했다고 6일 밝혔다.

​

프로텐이 차제 개발한 ProLLMOps는 대규모 언어 모델(LLM)을 효과적으로 배포 및 관리할 수 있는 솔루션이다. 매번 다르게 로직을 설정해야 하는 상황에서 복잡한 코드 수정 없이 간단히 워크플로우를 구성하고 배포 시간을 크게 단축할 수 있는 것이 ProLLMOps의 가장 큰 강점이다. 특히, 자체 개발한 RAG(검색 증강 생성) 솔루션 ‘ProRAG’와 연계한 버전으로 기능을 업그레이드해 보다 높은 정확성과 신뢰성을 갖춘 언어 모델 운영 환경을 제공한다.

ProLLMOps는 또한 대규모 언어 모델의 전체 수명 주기를 체계적으로 관리할 수 있는 다양한 기능을 제공한다. 임베딩 생성 및 저장 과정에서 색인 청크 방식(Sentence Window, 페이지 단위 등)을 지원하며, 효율적인 임베딩 저장으로 데이터 검색 속도를 높여준다.

키워드 검색, 벡터 검색, 하이브리드 검색을 지원하며, 리랭커 모델을 활용해 검색 결과의 정확도와 적합성을 극대화한다. 특히 실시간 로그 및 사용량 모니터링 기능을 제공해 운영 상태를 지속적으로 점검할 수 있으며, 프롬프트 엔지니어링을 지원해 언어 모델의 응답 품질을 최적화한다.

최근 AI의 핵심 기술로 떠오르면서 의료, 금융, 교육 등 다양한 산업에 활용되고 있는 대규모 언어 모델(LLM)을 효과적으로 운영하고 관리할 수 있도록 해주는 LLMOps(Large Language Model Ops)에 대한 관심이 높아지고 있는 상황에서 프로텐의 이번 ProLLMOps 업그레이드는 시장에서 큰 관심을 받을 것으로 보인다.

프로텐 솔루션 사업부 김덕규 이사는 “ProLLMOps v2.0은 한층 정교해진 검색 및 임베딩 기술을 바탕으로 LLM 운영의 효율성을 극대화할 수 있도록 업그레이드 되었다”며, “특히 ProRAG와 연계해 신뢰도 높은 검색 결과를 제공하고, 워크플로우를 이용해 운영자가 손쉽게 관리할 수 있어 기업이 LLM을 더 쉽게 도입하고 활용할 수 있도록 지원할 것”이라고 말했다.

한편, 프로텐은 생성형 AI 검색 ProVSearch, 소형 언어 모델 ProsLLM, 검색 증강 생성 ProRAG, 검색 엔진 솔루션 ProSearch 등 AI 기반 솔루션 라인업을 확장하며 시장 경쟁력을 강화하고 있다. 또한, MS 코파일럿과 연동해 조직 내부 데이터를 효과적으로 검색할 수 있는 ProCopilot Agent 활용 방안에 대해서도 업계의 주목을 받고 있다.

http://www.itdaily.kr/news/articleView.html?idxno=230822
기사 전문은 위 링크를 통해 확인 할 수 있습니다.
*출처 : 아이티데일리