1. 기업에 AI Agent 구축해주는 기업이 생각보다 많음

    • 고객사 레퍼런스도 많이 보유하고 있음
    • 지금도 이쪽에 수요가 많고, 앞으로도 고객 필요 + AI Agent가 발전함에 따라 수요가 많아질 거라고 예상됨
  2. LLM, RAG 구축 사례가 특히 많음

    • 예를 들어, 사내 챗봇같은 거임. 문서 업로드하면 인덱싱해서 지식 기반 DB에 저장해놓고, 챗봇이랑 대화할 때 그걸 참고해서 사내 지식을 더 효율적으로 꺼내볼 수 있도록 하는 거임
    • 나도 직접 RAG 구축해보면서 익히는 게 필요하지 않을까?란 생각이 듦
    • 그런데 지금 당장 필요한가에 대해선 아직도 의문임. 필요에 의해 기술이 쓰이는 거기 때문
  3. 보안이 중요한 기업일수도 있으니 온프렘으로 서버 구축해주기도 함

    • 폐쇄망 환경에서 FDE(Forward Deployed Engineer)가 고객의 현장에 찾아가서 컨설팅, 구축, AS까지 다 해주는 거임
    • Observability, 모니터링 서비스는 기본임
  4. 기업 맞춤형으로 컨설팅하듯이 제공하는 게 기본적임

    • 고객 상황에 맞는 서비스를 제공하기 위해, 기술 책임자와 인터뷰를 진행하기도 함
    • 예를 들어, GPU는 아래처럼 다양한 종류가 있는데, 이중에서 고객 상황에 맞는 걸 제안하는 거임
      • RTX 5090 (32GB VRAM)
      • RTX Pro 6000 (96GB)
      • H100 (80GB)
      • H200 (141GB)
      • B100 (192GB)
      • B200 (192GB)
  5. 이게 돈이 될까? 돈이 됨

    • 같이 다녀온 팀원 왈, 기업한테 물어봤을 때 고객사 하나당 구축 비용으로 8-9억 받는다고 함. 거기다 유지보수 비용까지 따로 받음
    • 구축을 위한 많은 장비가 있을 텐데, 그 장비 비용도 포함된다고 생각하면 될 듯
  6. 확장 가능할까? 확장 불가능해도 좋으니 고객사 레퍼런스 하나만 확보하자

    • 매번 고객마다 컨설팅으로 하게 되면, 확장 가능할까?에 대한 의문이 듦
    • 그러나 초기엔 확장 불가능한 것(ex. 컨설팅)을 하는 게 우선이란 생각이 듦
    • 그래서 그 많은 AI Agent 구축 파트너 업체가 지금처럼 컨설팅으로 하고 있겠지..
    • 만약 신생 팀이 AI Agent 인프라의 비전에 맞는 기회를 엿보려면, 고객사 레퍼런스 하나 확보하는 게 엄청 어려우면서도 가장 중요한 일이 될 거란 생각이 듦
  7. 거인의 어깨 위에 올라타기 vs 거인의 일상생활에 필요한 부품 하나가 되기

    • 그외에도 AI 면접 서비스나 AI 눈병 분석 등 다양한 AI 서비스들이 있었음. 체험도 해봤음
    • 프롬프팅만으로 가능한 AI 서비스는 차별성이 딱히 없어 보였음. 누구나 따라 만들기 비교적 쉬우니까
      • 물론 니치 시장 선점이 경쟁력이 되겠지만, 핵심 기능 자체만 봤을 땐 그렇다.
    • 그러나 버티컬 AI 서비스의 경우, 도메인에 특화된 모델이 경쟁력이 됨
      • 모델 학습에 필요한 데이터가 경쟁력이 됨
    • 그래서 데이터 보안이 중요함. 클라우드에서 온프렘으로 이관하기도 함
      • 그래서 본 것처럼 AI Agent 구축 업체들 많아짐
  8. 결론적으로, 내 생각은 다음과 같음

    • 거인의 어깨 위에 올라타기 → AI 이용한 서비스 만들기
    • 거인의 일상생활에 필요한 부품 하나가 되기 → AI 인프라 구축하기
    • 어느 쪽이 비전이 낫다고 생각하는가? 나는 무엇을 하는 데 시간을 투자할 것인가?

0건의 항목