목차
새벽 2시, 100MB짜리 CSV 파일이 던져졌다
지난 4월 14일이었습니다. 잘 자고 있는데 거래처에서 다급한 메일이 하나 왔더군요. "내일 오전 10시 미팅 전까지 지난 3년간의 고객 클레임 데이터 10만 건을 분석해서 인사이트 보고서를 뽑아달라"는 요청이었습니다. 첨부된 파일은 무려 100MB짜리 정제되지 않은 날것의 CSV 파일이었습니다.
예전 같았으면 파이썬 켜고 판다스(Pandas) 라이브러리 불러와서 결측치 제거하다가 밤을 꼴딱 새웠을 겁니다. 하지만 2026년이잖아요? 자신만만하게 AI를 켰습니다. 그런데 여기서 저의 첫 번째 오판이 시작됐습니다. 프롬프트만 잘 깎으면 하나의 AI가 모든 걸 다 해줄 거라는 착각이었죠.
직접 겪은 치명적 실수:
처음에 저는 평소 코딩할 때 애용하던 클로드 3.5 오퍼스(Claude 3.5 Opus)에 이 100MB 파일을 통째로 밀어 넣었습니다. 결과는? 60MB쯤 읽다가 컨텍스트 윈도우가 터져버리면서 "파일이 너무 큽니다"라는 에러를 뱉어냈습니다. 급한 마음에 챗GPT(GPT-4o)의 데이터 분석 기능을 켰지만, 한글 인코딩이 깨지면서 외계어 보고서를 토해내더군요.
처음에 저는 평소 코딩할 때 애용하던 클로드 3.5 오퍼스(Claude 3.5 Opus)에 이 100MB 파일을 통째로 밀어 넣었습니다. 결과는? 60MB쯤 읽다가 컨텍스트 윈도우가 터져버리면서 "파일이 너무 큽니다"라는 에러를 뱉어냈습니다. 급한 마음에 챗GPT(GPT-4o)의 데이터 분석 기능을 켰지만, 한글 인코딩이 깨지면서 외계어 보고서를 토해내더군요.
이날 밤의 뼈저린 실패를 겪고 나서, 저는 각 AI 모델이 가진 '진짜 스펙'과 '실전 성능'이 완전히 다르다는 걸 깨달았습니다. 결국 이 위기를 넘긴 건 특정 프리랜서 AI 툴 하나에 의존하는 것이 아니라, 각 모델의 장점만 뽑아먹는 '다중 모델 릴레이' 방식이었습니다.
제미나이 1.5 프로 vs 클로드 3.5: 똑같은 데이터를 던져본 결과
많은 분들이 텍스트 작업은 클로드, 범용은 챗GPT라고 공식처럼 외우고 계십니다. 저 역시 그랬거든요. 하지만 방대한 로우 데이터(Raw Data)를 처리해야 하는 상황이 오면 이야기가 완전히 달라집니다.
제가 직접 진행한 10만 행 CSV 파일(고객 리뷰 및 클레임 텍스트 포함) 처리 성능 테스트 결과를 가감 없이 공개합니다.
| 평가 항목 (100MB CSV 기준) |
|---|