[동향] 생성형 AI

[ 키워드 ] 
- 생성형 AI: 콘텐츠, 예술, 음악 등을 만들 수 있도록 하는 인공지능의 하위집합으로, 여러 산업을 변화시킬 수 있는 잠재력을 지닌 빠르게 진화하는 기술. 새롭고 독창적인 콘텐츠를 생성하는 AI 접근 방식. 이는 대규모 데이터 세트에서 훈련됨. 
- 생성형 AI apps: ChatGPT, GitHub Copilot, Stable Diffusion 등 
- LLM(Large Language Model): 대규모 언어 모델로, 방대한 양의 데이터가 사전 학습되어 다양한 자연어 처리(NLP) 작업을 수행 가능한 딥러닝 모델 

 

---

 

[ OpenAI사의 ChatGPT ]

GPT-3.5 출시 4개월만에 GPT-4라는 새로운 LLM을 출시

* 버전이 올라갈수록 파라미터 개수가 증가하여 정교한 학습이 가능해짐. 

 

[ 생성형 AI의 가치사슬 ]

1. 컴퓨터 하드웨어

: 수십억 개의 매개변수를 병렬 처리 가능한 "가속기" 칩을 가지고 있는 GPU나 TPU(텐서처리장치)로 구성된 대규모 클러스터를 필요로 함

2. 클라우드 플랫폼

: GPU와 TPU는 비싸고 부족한 자원이기에 대부분의 기업들이 대규모 AI 모델을 구축하고 조정 및 실행하는 작업은 클라우드에서 수행함 

3. 파운데이션 모델

: 인공신경망을 포함, 매우 크고 다양한 형태의 비정형 데이터를 처리하고 여러 작업을 수행 . 대부분의 대기업은 더 높은 수준의 보안 및 개인정보보호를 위해 LLM을 자사 환경에서 동작하길 원함 

4. 모델 허브 및 MLOps

: 파운데이션 모델을 적용하고 애플리케이션 내에 배포하기 위한 특화된 MLOps 도구 및 기술, 애플리케이션이 모델과 상호 작용할 수 있는 API 구축 기능을 제공하는 모델 허브 

5. 애플리케이션

: 하나의 파운데이션 모델은 다양한 작업 수행 가능하지만, 이를 활용하여 구축된 애플리케이션은 특정 작업을 완료하도록 함. 텍스트, 영상, 이미지, 코딩 개발 등 

6. 서비스 

 

---

 

[ 생성형 AI와 보안 ]

직원이 기업 민감 데이터를 AI와 공유한 경우, 챗GPT같은 툴이 공격자에게 해당 데이터에 대한 액세스 권한 부여할 가능성 존재

-> 몇몇 기업은 데이터 보안, 개인정보보호를 이유로 챗GPT같은 생성형 AI 사용 금지하고 있음. 

ex. JP모건, 아마존, 버라이즌, 액센추어, 월마트를 포함한 많은 기업이 직원의 챗GPT 사용 금지한 것으로 알려짐 

 

그러나 생성형 AI는 여러 방식으로 사이버 보안을 강화할 수 있음.

 

[ 생성형 AI 챗봇 + LLM이 보안 개선할 수 있는 방법 ]

1. 취약점 스캔 및 필터링

: 생성형 AI 모델을 사용하면 보안 취약점 스캔과 필터링을 강화할 수 있다. 안전하지 않은 코드 패턴을 탐지해 표시하는 스캐너, 인간 보안 담당자가 놓칠 수 있는 위협 식별자를 설명, 마이터 어택 식별자로 정확히 인식하고 설명 제공, 사례 제공 등 ex. OpenAI의 코덱스(Codex) API가 프로그래밍 언어를 위한 효과적인 취약점 스캐너가 될 수 있음. 보안업체 OX 시큐리티가 공개한 OXGPT 

2. 애드온 및 PE 파일의 API 분석

: 규칙을 구축하고 IDA나 기드라(Ghidra)와 같은 리버스 엔지니어링 프레임워크를 기반으로 애드온 구조나 PE 파일의 API를 분석해서 어떤 용도로 사용되는지 알려줄 수 있음. 보안 연구원은 PE 파일을 살펴보면서 그 안의 API 통신을 분석하는 데 소비하는 시간을 줄일 수 있음. 

3. 위협 사냥 쿼리

: 챗GPT 및 기타 LLM을 활용해서 위협 사냥 쿼리를 생성 가능함. 야라(Yara)와 같은 맬웨어 연구 및 탐지 툴을 위한 쿼리를 생성 가능

* 위협 사냥 쿼리: 시스템 로그, 네트워크 데이터, 악성 코드 분석 결과 등 다양한 소스에서 정보를 추출하고, 잠재적인 위협을 탐지하고 분석하기 위해 사용되는 특별한 질문이나 명령어를 의미

* 야라(Yara): 악성코드 시그니처를 사용해서 악성코드 종류를 식별 및 분류하는 목적으로 사용하는 도구 

4. 공급망 보안 개선

5. 공격에서 생성형 AI 텍스트 감지

: LLM은 AI로 생성된 텍스트를 감지하고 워터마킹하는 기능도 존재 -> 이메일 보호 SW의 보편적인 기능이 될 수 있음. ex. 피싱 이메일, 다형성 코드 감지, 악성 웹사이트 링크 포함 메일 식별 

6. 보안 코드 생성 및 전송

: ex. 마이크로소프트 365 디펜더 고급 헌팅 쿼리를 생성 가능 

 

[ 방향성 ]

: 보안 및 법률팀이 협력해 지적 재산이나 보안 침해 없이 기술을 활용하는 최선의 방법을 찾아야 한다. 

 “앞서 언급한 이점을 위해 생성형 AI를 사용하는 경우 사람이 결과물을 정당화해야 한다. 결과물을 오프라인으로 가져와서 더 정확하고 실용적으로 보강해야 한다”고 덧붙였다. 생성형 AI 챗봇/LLM이 궁극적으로 보안과 방어를 강화하는 역할을 하겠지만, 사이버보안 태세에 도움이 되도록 활용하는 핵심은 결국 내부 커뮤니케이션과 대응이다. 

 목표 달성을 위한 툴 활용법을 알리는 동시에 툴이 가진 잠재적인 위협에 대해서도 교육을 실시해야 한다

 

---

 

[ 참고 ]

https://www.samsungsds.com/kr/insights/future_of_generative_ai_1.html

ChatGPT를 넘어, 생성형 AI(Generative AI)의 미래 – 1편 | 인사이트리포트 | 삼성SDS

https://www.samsungsds.com/kr/insights/how-to-improve-cyber-security-with-generative-ai.html

생성형 AI로 사이버보안을 강화하는 방법 | 인사이트리포트 | 삼성SDS