AI 기반 모델을 사용하면 조직의 수익이 증가하고 운영 효율성이 향상되며 고객 관계가 향상됩니다. 하지만 한 가지 단점이 있다. 배포된 모델이 어디에 있는지, 모델이 무엇을 하는지, 모델이 사용하는 데이터, 모델이 생성하는 결과 및 결과에 의존하는 사용자를 알아야 합니다.
모델 관리
그것은 좋은 모델 거버넌스 프레임워크를 필요로 한다. 많은 조직에서 현재 프레임워크는 새로운 모델의 검증과 테스트에 중점을 두고 있지만 리스크 매니저와 규제 당국은 모델 도입 후 발생하는 일이 최소한 그만큼 중요하다는 것을 깨닫고 있습니다.
레거시 모델
아무리 잘 생각하고 구축해도 영원히 기능하는 예측 모델은 없습니다. 시간이 지남에 따라 서서히 저하되거나 갑자기 실패할 수 있습니다. 따라서 구형 모델은 면밀하게 모니터링하거나 완전히 처음부터 재구축해야 합니다.
현재 양호한 관리 기능을 보유하고 있는 조직도 이러한 모델에서 상당한 기술적 부채를 지고 있을 수 있습니다. 과거에 구축된 모델은 보고서, 애플리케이션 시스템 및 비즈니스 프로세스에 포함될 수 있습니다. 이들은 문서화, 테스트 또는 능동적으로 모니터링 및 유지보수가 이루어지지 않았을 수 있습니다. 개발자들이 더 이상 회사에 없을 경우, 그들이 무엇을 왜 했는지 이해하기 위해 리버스 엔지니어링이 필요합니다.
미래 모델
자동 기계 학습(AutoML) 도구를 사용하면 수백 개의 모델을 하나의 모델만 만드는 것만큼 쉽게 만들 수 있습니다. 시민 데이터 과학자를 대상으로 하는 이러한 툴은 조직이 향후 생산에 투입할 모델 수를 대폭 늘려 지속적으로 모니터링해야 할 것으로 예상됩니다.
체계적인 모델 제어를 통한 위험 감소
모든 조직에는 모델 사용 증가에 따라 확장 가능한 모델 거버넌스 프레임워크가 필요합니다. 모형이 고장 위험에 처해 있는지 또는 올바른 데이터를 측정하고 있는지 확인해야 합니다. SR 11-7과 같은 모델 거버넌스 및 모델 리스크 프랙티스를 보장하기 위한 금융 규제가 증가하고 있으므로 모델이 적용 가능한 외부 표준을 충족하는지 확인해야 합니다.
이 프레임워크는 역할과 책임, 접근통제, 변경 및 감사 로그, 문제 슈팅 및 후속 조치 기록, 프로덕션 테스트, 검증 액티비티, 모델 이력 라이브러리 및 추적 가능한 모델 결과 등의 주제를 포함해야 합니다.
DataRobot MLOps 사용
델의 머신 러닝 오퍼레이션(MLOps) 툴을 사용하면, 모델이 개발된 환경이나 언어, 도입 장소에 관계없이, 조직 내의 복수의 관계자가, 모든 생산 모델을 1개의 장소에서 제어할 수 있습니다.
모델 관리의 경우
DataRobot의 "어디서나 모든 모델" 접근 방식은 MLOps 툴을 통해 클라우드, 사내 또는 하이브리드 등 거의 모든 프로덕션 환경에 AI 모델을 도입할 수 있습니다.
또한 문제 해결 및 분류, 모델 승인 및 보안 워크플로우와 같은 주요 프로세스를 자동화하는 모델 라이프사이클 관리 시스템을 생성합니다. 또한 모델 버전 관리 및 롤백, 모델 테스트, 모델 재교육, 모델 페일오버 및 페일백도 처리할 수 있습니다.
모델용 감시
DataRobot의 이 고급 툴은 배포 위치에 관계없이 수백 가지 모델의 성능을 즉시 파악할 수 있도록 지원합니다. 전체 라이프사이클에 걸쳐 또는 특정 이벤트가 발생할 때 프로덕션 모델을 예약에 따라 새로 고칩니다. 신뢰할 수 있는 AI를 지원하기 위해 구성 가능한 바이어스 모니터링까지 제공합니다.
상세 정보
감독 기관과 감사인은 부실하게 관리되는 AI의 위험에 대해 점점 더 많이 인식하고 있으며, 곧 더 엄격한 모델 위험 관리 관행이 요구될 것입니다.
댓글