팔로알토, 캘리포니아--(뉴스와이어)--기업 기술팀을 위한 보안 협업 플랫폼인 매터모스트(Mattermost, Inc., 이하 Mattermost)는 2023 Collision Conference에서 OpenOps 출시를 발표했다. OpenOps는 AI(인공지능) 기반 워크플로우와 사용 정책의 책임성 평가 속도는 높이되 데이터 제어를 유지하는 한편, 벤더사 종속에서 벗어날 수 있도록 지원하는 오픈소스 접근 방식의 솔루션이다.

OpenOps는 경쟁 우위를 점하기 위해 AI 활용이 치열하게 전개되고 있는 가운데 사용 및 감독 정책 개발, 규제 및 계약상 의무화되는 데이터 제어 보장 등 운영 상의 신뢰성이 시급히 확보돼야 하는 상황 속에서 선보이게 됐다.

OpenOps는 이처럼 심각한 우려 요인들이 장애물처럼 가로막고 있는 상황을 개선하기 위해 개발됐으며, 개발자와 조직이 전반적인 데이터 제어를 통해 ‘샌드박스’ 환경을 셀프 호스팅할 수 있도록 지원한다. 실제 다중 사용자 채팅 협업 워크플로우 환경에서 마주치는 다양한 AI 모델과 사용 정책으로 발생하는 위험요인과 이점들을 책임성 있게 평가할 수 있도록 한다.

이 시스템은 데이터 제어 최적화를 위해 Falcon LLM과 GPT4All 등 Hugging Face에 등록된 셀프 호스팅 LLM(대규모 언어 모델) 평가에 활용할 수 있다. 또한 성능 최적화를 위해 Azure AI 플랫폼, OpenAI ChatGPT, Anthropic Claude에서 하이퍼스케일링 된 벤더사 호스팅 모델들을 평가할 수 있다.

OpenOps 플랫폼 1차 출시판을 이용해 다음과 같이 다양한 AI 증강 유스 케이스 평가가 가능하다.

· 자동 질문 및 답변: 사용자는 협업이나 개별 작업을 진행하면서 셀프 호스팅 또는 벤더사 호스팅이 된 생성형 AI 모델에 질문을 던지며 모델이 지원하는 다양한 주제에 대해 배울 수 있다.

· 토론 요약: 생성형 AI가 제공하는 요약본은 셀프 호스팅 된 채팅 기반 토론에서 생성되어 정보 흐름과 의사 결정을 가속화하고 조직이 최신 상태를 유지하는 데 필요한 시간과 비용을 줄일 수 있다.

· 맥락별 조사: 사용자는 AI 봇이 생성한 스레드 요약에 대해 후속 질문을 할 수 있다. 이렇게 하면 원자료를 파악하지 않고도 기본 정보에 대해 더 많이 알 수 있다. 예를 들어 장애 처리를 위한 특정 개인의 일련의 요청에 대해 AI 봇이 작성한 토론 요약본은 해당 개인의 요청 사유와 정보 활용 계획에 대한 자세한 맥락을 파악할 수 있다.

· 감정 분석: AI 봇은 메시지의 감정을 분석해 사용자 대신 해당 메시지에 대한 이모지 반응을 추천, 전달할 수 있다. 일례로 AI 봇은 무언가 축하하는 감정을 감지한 후 ‘불’ 모양의 이모지를 추가해 흥분감을 나타낼 수 있다.

· 인간 피드백 기반 강화 학습(RLHF) 컬렉션: 본 시스템은 AI 모델을 평가, 트레이닝하기 위해 최종 사용자가 선택한 ‘좋아요/싫어요’ 신호를 기록, 다른 프롬프트와 모델에 대한 사용자 피드백을 수집할 수 있다. 이 데이터는 앞으로 기존 모델의 미세 조정에도 사용 가능하며 과거 사용자 프롬프트에 대한 대체 모델 평가를 위한 정보를 제공할 수도 있다.

셀프 호스팅된 프레임워크인 이 오픈 소스는 ‘고객 제어 운영 및 AI 아키텍처’를 공급하며 AI 봇을 통한 조정과 자동화용 운영 허브를 제공한다. AI 봇은 상호 교환 가능한 셀프 호스팅 생성형 AI 및 LLM 백엔드에 연결돼 있다. 또한 사설 클라우드와 데이터 센터 아키텍처로 확장할 수 있을 뿐만 아니라 연구와 탐색을 위해 개발자 노트북에서 구동할 수 있도록 축소도 가능한 Hugging Face와 같은 서비스를 통해 제공된다. 이와 함께 Azure AI 플랫폼과 OpenAI에서 제공하는 하이퍼스케일의 벤더사 호스팅 모델에도 연결할 수 있다.

Mattermost CEO인 Ian Tien은 “모든 조직은 경쟁 우위를 강화하기 위해 AI가 어떻게 도움을 줄 수 있는지 이를 파악하기 위한 경쟁에 나서고 있다”며 “조직이 책임감을 갖고 잠재력을 최대한 발현할 수 있도록 지원하기 위해 OpenOps를 개발했다. 이를 이용해 다양한 범주의 사용 정책과 AI 모델을 평가해 조직 내 워크플로우 향상 또한 가능하다”고 밝혔다.

OpenOps 프레임워크는 AI 증강 개발을 위한 4단계 접근 방식을 권장한다.

1. 셀프 호스팅 샌드박스 - 기술팀을 통해 셀프 호스팅 ‘샌드박스’ 환경을 데이터 제어 및 감사 기능을 갖춘 안전한 공간으로 설정, 생성형 AI 기술을 탐색 및 시연한다. OpenOps 샌드박스는 단순히 웹 기반 다중 사용자 채팅 협업만 포함하거나 데스크톱 및 모바일 애플리케이션, 다양한 조직 내 도구 통합을 통해 제작 환경을 시뮬레이션할 수 있다. 또한 특정 Microsoft Teams 채널과 같은 다른 협업 환경과의 통합도 가능하다.

2. 데이터 제어 프레임워크 - 기술팀은 사내 유스 케이스에 대해 다양한 AI 모델의 초기 평가를 수행한다. 또한 모델이 셀프 호스팅되는지 벤더사 호스팅되는지, 벤더사 호스팅 모델이 서로 다른 데이터 처리 보증을 기반으로 하는지에 따라 다양한 모델의 데이터 제어 문제를 다루는 사용 정책의 시작점을 설정한다. 예를 들어 데이터 제어 정책은 벤더사 호스팅 AI를 완전히 차단하는 것부터 신용카드 번호나 개인 키와 같은 민감한 데이터의 사용이 의심되는 경우 차단하는 것까지, 또는 운영 환경에 인코딩할 수 있는 맞춤형 정책까지 다양할 수 있다.

3. 신뢰, 안전, 컴플라이언스 프레임워크 - 신뢰, 안전, 컴플라이언스 팀은 샌드박스 환경에 초대돼 초기에 AI가 증강된 유스 케이스와 함께 관찰, 상호 작용하며 기술팀과 협력해 데이터 제어와 더불어 사용 및 감독 정책을 개발한다. 일례로 관리자가 AI를 활용해 팀의 성과 평가를 작성할 수 있는지 여부, 또는 AI로 악성 소프트웨어 개발 기술을 연구할 수 있는지 여부에 대한 가이드라인을 마련한다.

4. 파일럿 및 생산 - 사용 정책과 초기 AI 확장 기능에 대한 기준이 마련되면 파일럿 사용자 그룹이 샌드박스 환경에 추가돼 증강의 이점을 평가할 수 있다. 기술팀은 다양한 AI 모델을 활용해 워크플로우 증강 작업을 반복할 수 있으며 신뢰, 안전, 컴플라이언스 팀은 전체 감사 기능을 통해 사용 상황을 모니터링하고 사용 정책과 도입을 반복할 수 있다. 파일럿 시스템이 성숙해지면 생산화 버전 OpenOps 프레임워크에서 실행 가능한 생산 환경에 확장 기능 전체를 도입할 수 있다.

OpenOps 프레임워크에는 다음과 같은 기능이 포함돼 있다.

· 셀프 호스팅 운영 허브: OpenOps는 Mattermost 오픈 소스 프로젝트를 통해 웹, 모바일, 데스크톱에서 실시간 메시징 플랫폼으로 셀프 호스팅된 운영 워크플로우를 사용할 수 있다. 내부 시스템과 유명 개발자 툴과의 통합을 통해 중요한 컨텍스트 데이터로 AI 백엔드를 강화할 수 있다. 워크플로우 자동화를 통해 반응 시간은 더욱 빨라지고 에러 발생율과 위험도는 줄어들게 된다.

· 상호 교환 가능한 AI 백엔드를 갖춘 AI 봇: OpenOps는 AI 봇을 운영에 통합하고 상호 교환 가능한 다양한 AI 플랫폼에 연결할 수 있다. 데이터 제어 능력을 극대화하기 위해 Hugging Face와 같은 서비스의 GPT4All 및 Falcon LLM을 포함한 자체 호스팅 오픈 소스 LLM 모델로 작업할 수 있다. 성능 극대화를 위해 OpenAI ChatGPT, Azure AI 플랫폼, Anthropic Claude를 비롯한 타사 AI 프레임워크를 활용할 수 있다.

· 완전한 데이터 제어: OpenOps는 기업들이 기존 보안 및 규정 준수 인프라를 활용해 모든 데이터, IP, 네트워크 트래픽을 셀프 호스팅, 제어, 모니터링할 수 있도록 한다. 이를 통해 기업들은 향후 AI 백엔드 평가와 미세 조정을 위해 충분한 양의 실제 훈련 데이터를 개발할 수 있다.

· 무료 오픈소스: MIT, Apache 2와의 라이선스 계약 하에 제공되는 OpenOps는 무료 오픈소스 시스템으로 기업들이 전체 아키텍처를 쉽게 배포, 실행할 수 있도록 지원한다.

· 확장성: OpenOps는 프라이빗 클라우드, 데이터 센터 또는 표준 노트북에 도입 가능한 유연성을 제공한다. 이 시스템은 또한 GPU 등 전문 하드웨어가 필요하지 않아 더 많은 개발자들이 셀프 호스팅 AI 모델을 탐색할 수 있다.

OpenOps 프레임워크는 현재 실험 단계이며 웹사이트에서 다운로드할 수 있다.

매터모스트 소개

매터모스트(Mattermost)는 국가 수준의 보안 및 신뢰 요구 사항을 충족해야 하는 기술, 운영팀을 위해 보안성과 확장성을 갖춘 허브를 제공한다. 매터모스트는 테크 분야와 공공 부문, 방위 산업을 대상으로 서비스를 제공하며 테크 대기업부터 미국 국방부, 전 세계 정부 기관에 이르기까지 다양한 고객사를 보유하고 있다. 매터모스트의 셀프 호스팅 및 클라우드 오퍼링은 웹, 데스크톱, 모바일상에서 운영 워크플로우, 인시던트 협업, Dev/Sec/Ops 및 사내 툴체인과의 통합을 지원하고 광범위한 통합 커뮤니케이션 플랫폼과 연결되는 기술 커뮤니케이션을 위한 강력한 플랫폼을 제공한다. 매터모스트는 세계에서 가장 안전하고 미션 크리티컬한 조직에서 검증, 배포한 오픈소스 플랫폼을 기반으로 한다. 이 플랫폼은 20가지 언어로 번역된 당사의 공유 제품 비전을 위해 3만개 이상의 코드 개선을 제공한 4000명 이상의 오픈소스 프로젝트 기여자와 공동 구축됐다. 자세한 정보는 웹사이트에서 확인할 수 있다. Mattermost 및 Mattermost 로고는 Mattermost, Inc의 등록 상표다. 기타 모든 상표는 해당 소유자의 자산이다.