더 똑똑하고 빠른 AI 만드는 법 — 커서 설형욱이 밝힌 연산 최적화의 비밀

설형욱 애니스피어(Anysphere) 머신러닝 과학자는 9월 4일(현지시각) 더밀크 주최 웨비나에서 “컴퓨팅 비용을 낮추면 모든 좋은 것들을 얻을 수 있습니다”라고 강조하며 AI 성능 개선의 핵심이 연산 효율화에 있음을 역설했다. 그는 커서(Cursor) 개발 경험과 스탠퍼드 AI 연구소(SAIL)에서의 연구를 바탕으로 GPU 하드웨어와 소프트웨어 커널 최적화가 모델 지능과 비용구조에 미치는 영향을 설명했다. 특히 엔비디아의 하드웨어 업그레이드 때마다 실제 성능을 제대로 활용하는 코드는 전체 활용률의 30% 이하에 머무른다는 점을 지적했다. 웨비나 발언을 통해 설 과학자는 인프라·소프트웨어 관점의 최적화가 단순한 하드웨어 추가를 넘어서는 전략이라고 제시했다.

핵심 사실 (Key Takeaways)

  • 설형욱 과학자는 9월 4일 웨비나에서 연산(컴퓨팅) 비용 절감이 AI 지능 향상의 핵심이라고 주장했다.
  • 그는 GPU·하드웨어 개선만으로는 해결되지 않으며, 커널 수준의 속도 개선이 연산 비용을 좌우한다고 설명했다.
  • 엔비디아 신제품이 나올 때마다 코드를 다시 작성해야 하는 경우가 잦아 실제 성능 활용률은 30% 이하로 평가된다고 발표했다.
  • 애니스피어는 커서(Cursor) 툴을 통해 모델 개발·디버깅 환경을 개선하고 하드웨어 최적화를 지원하는 사례를 제시했다.
  • 연산 비용을 낮추면 모델 학습·추론에 더 많은 자원을 배치할 수 있어 결과적으로 모델의 ‘지능’이 향상된다고 설명했다.
  • 설 과학자는 소프트웨어-하드웨어 간 불일치가 실무 비용을 증대시키며, 이를 바로잡는 것이 비용 대비 효과가 크다고 강조했다.

사건 배경 (Background)

딥러닝 모델의 성능은 대체로 더 많은 연산과 더 큰 데이터에 비례해 왔다. 최근 대형 모델들이 등장하면서 GPU 같은 가속기 하드웨어에 대한 수요가 폭증했고, 이에 따라 데이터센터와 클라우드 비용이 주요 제약 요인으로 부상했다. 하드웨어 제조사들은 빈번한 아키텍처 변경과 신제품 출시로 성능 향상을 약속하지만, 실제로 이를 소프트웨어 수준에서 충분히 활용하려면 코드·커널 최적화가 필요하다.

과거 사례를 보면, 새로운 GPU 아키텍처가 나오면 벤치마크 수준의 성능 향상이 보고되지만 현장 코드가 즉시 그 이익을 누리지는 못했다. 엔지니어링 팀은 프레임워크·라이브러리·커널을 업데이트해야 하고, 이 과정에서 작업 비용과 시간이 추가로 들어간다. 설형욱 과학자가 지적한 것은 바로 이 ‘운영상의 마찰’이다. 하드웨어 공급만으로 문제를 해결하려는 접근은 비용 효율적이지 않으며, 전체 생태계의 최적화가 병행돼야 한다.

주요 사건 (Main Event)

웨비나에서 설형욱 과학자는 우선 연산 비용의 구성요소를 재정의했다. 그는 연산량 자체뿐 아니라 메모리 액세스, 커널 호출 빈도, 데이터 이동 비용 등이 전체 비용을 좌우한다고 설명했다. 이어 그는 커널 단위의 속도 향상이 곧바로 총 연산 비용 절감으로 이어진다는 점을 사례 중심으로 제시했다.

또한 설 과학자는 엔비디아 신제품이 출시될 때마다 프레임워크와 커널을 재작성하거나 조정해야 하는 현실을 언급하며, 이 때문에 실제 하드웨어 성능 활용률이 낮아진다고 말했다. 그는 “더 좋은 더 많은 GPU가 항상 해결책은 아니다”라고 요약하며, 소프트웨어 최적화의 우선순위를 강조했다.

커서(Cursor)와 관련해 그는 개발 생산성과 하드웨어 적응성을 높여주는 도구적 측면을 설명했다. 커서는 모델 개발·디버깅 과정에서 병목을 파악하고, 특정 연산 경로의 커널 성능을 가시화해 개선 포인트를 제시한다. 이를 통해 엔지니어들이 하드웨어 특성을 보다 빠르게 반영하도록 돕는다고 소개했다.

분석 및 의미 (Analysis & Implications)

첫째, 연산 비용 최적화는 단기적으로는 클라우드·데이터센터 비용 절감으로 직결된다. 비용이 낮아지면 동일 예산으로 더 긴 학습, 더 큰 배치, 더 넓은 하이퍼파라미터 탐색이 가능해지며 이는 곧 모델 성능 향상으로 이어진다. 결과적으로 단순히 GPU를 추가하는 전략보다 ROI(투자수익률)가 높은 개선을 기대할 수 있다.

둘째, 소프트웨어-하드웨어 협업의 중요성이 커진다. 하드웨어 공급자와 프레임워크·라이브러리 제작자, 모델 개발자가 긴밀히 협력해야만 아키텍처 변화가 실사용 성능으로 연결된다. 설 과학자가 지적한 ‘30% 이하 활용’ 문제는 이러한 협업 부재의 산물로 볼 수 있다. 표준화된 성능 추적과 자동화된 커널 최적화 워크플로가 필요하다.

셋째, 스타트업과 중견기업은 하드웨어 투자보다 소프트웨어 최적화에 우선순위를 두어야 한다. 초기에는 하드웨어로 문제를 덮을 수 있지만 장기적인 경쟁력은 연산 효율성 확보에 좌우된다. 또한 규제·공급망 문제로 하드웨어 접근성이 떨어질 때 소프트웨어 우위는 더 큰 차별화 요소가 된다.

비교 및 데이터 (Comparison & Data)

지표 설명
GPU 실사용률 (설 발표) 실무 코드에서 보고되는 성능 활용률이 30% 이하
커널 최적화 효과 커널·데이터 이동 최적화로 연산 비용이 유의미하게 감소 가능 (웨비나 논의)

위 표는 설형욱 과학자가 웨비나에서 제시한 주요 데이터와 논점을 요약한 것이다. 발표는 실무 환경에서의 성능 활용 격차를 강조했고, 그 격차를 줄이면 연산 비용과 결과물의 질 모두 개선된다는 점을 근거로 들었다.

반응 및 인용 (Reactions & Quotes)

“컴퓨팅 비용을 낮추면 모든 좋은 것들을 얻을 수 있습니다.”

설형욱, 애니스피어 머신러닝 과학자 (웨비나 발언)

이 발언은 웨비나 주제의 핵심을 압축한 표현으로, 연산 비용 절감이 단순한 비용 절감 그 이상이라는 메시지를 담고 있다.

“더 좋은 더 많은 GPU가 항상 해결책은 아니다. 소프트웨어 수준의 최적화가 중요하다.”

설형욱, 애니스피어 (웨비나 발언)

설 과학자는 하드웨어 추가만으로는 실사용 성능 개선에 한계가 있다고 지적하며, 커널 수준의 개선을 통해 비용 대비 성능을 높여야 한다고 주장했다.

불확실성 (Unconfirmed)

  • 엔비디아 신제품이 나올 때마다 모든 사례에서 코드 재작성 필요성이 보편적으로 나타나는지에 대한 광범위한 데이터는 제시되지 않았다.
  • 실무 환경에서 활용률이 30% 이하라는 수치는 발표자의 관찰과 사례 기반으로 제시됐으며, 모든 업체·워크로드에 보편적으로 적용되는지는 추가 확인이 필요하다.
  • 커널 최적화로 기대되는 비용 절감률의 구체적 수치(%)는 웨비나에서 범주적으로 논의되었으나 포괄적 실증 데이터는 공개되지 않았다.

총평 (Bottom Line)

이번 웨비나의 핵심은 하드웨어 중심의 접근에서 벗어나 소프트웨어·커널 수준의 최적화로 전환해야 한다는 실무적 권고다. 설형욱 과학자는 연산 비용을 낮추는 것이 AI의 성능을 올리는 가장 직접적 경로라고 제시했고, 이는 데이터센터 운영비와 연구개발 전략 모두에 즉각적인 영향을 미친다.

기업과 연구진은 신규 GPU 도입만 고려하기보다, 현재 코드베이스와 커널의 병목을 진단하고 자동화된 최적화 도구를 도입하는 쪽에 우선순위를 둬야 한다. 장기적으로는 하드웨어·소프트웨어 공급자 간 협업과 표준화된 성능 지표가 AI 생태계의 생산성을 끌어올릴 것이다.

출처 (Sources)

댓글 남기기