chatgpt api 비용 최적화1 ChatGPT API 비용 감축하기 팀 프로젝트에서 ChatGPT를 사용해 여러 사이트에서 모은 강의 데이터를 하나의 카테고리 상에 매핑하는 작업을 하려 했습니다. 이 과정에서 ChatGPT API 비용을 최적화한 과정을 정리해보려 합니다.현재 LLM 에 제공할 강의 데이터는 다음과 같습니다. (이 중 None으로 존재하는 데이터는 제거)lecture_namedescriptionwhatdoilearntags 하지만 이때 기존 Category 300개에 달하는 방식으로는 ChatGPT 4o 모델을 한번 Inference 시 대략 $0.05가 발생하였습니다. (대략 1.2K 토큰, 1K 토큰 당 $0.005라고 함)이 토큰을 줄이기 위하여 기존의 한글 카테고리 목록을 영어로 번역해 이 둘의 토큰 수 비교를 하기로 하였습니다. 1. 한글-영어 .. 2024. 7. 29. 이전 1 다음
