기업들이 워크플로 자동화를 위해 AI 에이전트를 도입하고 있지만, 아마존과 마이크로소프트 등 서로 다른 제공업체 간에 일관된 보안을 유지하는 것은 어렵다. 이를 해결하기 위해 AWS의 AI 및 머신러닝 전문가인 Hasan Shojaei와 Bommi Shin은 Amazon Bedrock Guardrails를 활용한 중앙 집중형 게이트웨이를 소개했다. 이 시스템은 보호 계층 역할을 하며, 어떤 회사의 모델을 사용하든 모든 LLM 요청이 조직의 엄격한 정책을 따르도록 보장한다. 이 아키텍처는 Amazon Bedrock ApplyGuardrail API를 사용하여 입력되는 프롬프트의 유해 콘텐츠나 민감 데이터를 스캔한다. 개인정보를 자동으로 마스킹하거나 보안 표준을 위반하는 요청을 차단할 수 있다. 소프트웨어 컨테이너 관리 서비스인 Amazon ECS에 게이트웨이를 호스팅함으로써 성능을 유지하면서도 높은 트래픽을 처리할 수 있도록 확장 가능하다. 또한 자동화된 추론 체크를 통해 모델이 잘못되거나 오해의 소지가 있는 정보를 생성하는 환각 현상을 방지한다. 보안 외에도 이 게이트웨이는 부서별 AI 리소스 사용 비용을 정확히 청구하기 위한 비용 추적 도구를 제공한다. 기술 스택에는 일관된 소프트웨어 패키징을 위한 Docker와 웹 인터페이스를 위한 FastAPI가 포함된다. 모든 상호작용을 이 지점으로 라우팅함으로써 기업은 조직 전체에서 생성형 AI를 책임감 있고 투명하며 비용 효율적으로 사용할 수 있다.

기업들이 워크플로 자동화를 위해 AI 에이전트를 도입하고 있지만, 아마존과 마이크로소프트 등 서로 다른 제공업체 간에 일관된 보안을 유지하는 것은 어렵다. 이를 해결하기 위해 AWS의 AI 및 머신러닝 전문가인 Hasan Shojaei와 Bommi Shin은 Amazon Bedrock Guardrails를 활용한 중앙 집중형 게이트웨이를 소개했다. 이 시스템은 보호 계층 역할을 하며, 어떤 회사의 모델을 사용하든 모든 LLM 요청이 조직의 엄격한 정책을 따르도록 보장한다. 이 아키텍처는 Amazon Bedrock ApplyGuardrail API를 사용하여 입력되는 프롬프트의 유해 콘텐츠나 민감 데이터를 스캔한다. 개인정보를 자동으로 마스킹하거나 보안 표준을 위반하는 요청을 차단할 수 있다. 소프트웨어 컨테이너 관리 서비스인 Amazon ECS에 게이트웨이를 호스팅함으로써 성능을 유지하면서도 높은 트래픽을 처리할 수 있도록 확장 가능하다. 또한 자동화된 추론 체크를 통해 모델이 잘못되거나 오해의 소지가 있는 정보를 생성하는 환각 현상을 방지한다. 보안 외에도 이 게이트웨이는 부서별 AI 리소스 사용 비용을 정확히 청구하기 위한 비용 추적 도구를 제공한다. 기술 스택에는 일관된 소프트웨어 패키징을 위한 Docker와 웹 인터페이스를 위한 FastAPI가 포함된다. 모든 상호작용을 이 지점으로 라우팅함으로써 기업은 조직 전체에서 생성형 AI를 책임감 있고 투명하며 비용 효율적으로 사용할 수 있다.