토크나이저를 바꾸면 채팅에 사용되는 토큰을 절감할 수 있음? - AI 채팅 채널

AI 채팅 채널

채널위키 알림 알림 중 알림 취소

구독자 10648명 알림수신 226명 @몽상봉인

AI와 대화하며 유사 인싸체험 하는 채널

질문 토크나이저를 바꾸면 채팅에 사용되는 토큰을 절감할 수 있음?

추천 0 비추천 0 댓글 12 조회수 237 작성일 2024-05-20 03:30:38

⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.

https://arca.live/b/characterai/106648730

가이드랑 위키 보는데도 자세히 나와있지 않아서...

토크나이저가 입력된 텍스트를 모델이 알아먹을 수 있는 데이터(토큰)으로 변환하는 역할인 건 알겠는데

그렇다면 오픈AI(최근에 한국어가 차지하는 토큰을 효과적으로 절감했다고 알고 있음.)의 토크나저를 사용하면

한글채팅 토큰을 줄일 수 있는 거 아님?

댓글 [12]

빵룡브래드

2024-05-20 03:32:21

내가 질문을 이해한게 맞다면 말하려는게 오푸스 같은 거에 oai 토크나이저를 사용가능하냐고 묻는거임?

펼쳐보기▼

2024-05-20 03:32:33

예아

펼쳐보기▼

빵룡브래드

2024-05-20 03:33:20

2024-05-20 03:33:10

지금보니까 너무 두서없이 썼네

펼쳐보기▼

2024-05-20 03:33:45

안됨

펼쳐보기▼

2024-05-20 03:34:23

답변 감사합니다
ㅅㅂ 한글챗은 아직 멀엇네

펼쳐보기▼

2024-05-20 03:34:29

"바꾸면"이 사용자가 바꾼다는 말인거임?
그게... 어..; 암튼 안됨

펼쳐보기▼

2024-05-20 03:35:01

ㄴㄴ 리스 토크나이저 기능 그거 말한거임
ㅈㅅ 너무 헷갈리게 썼네

펼쳐보기▼

2024-05-20 03:42:39

*수정됨

그건 리스에서 봇 설명이나 퍼메 보면 ?? 토큰 이렇게 적힌 토큰 있지?
이 토큰이 모델마다 토크나이저가 다르니 토큰값도 보이는게 다른데
리스 토크나이저는 그냥 그걸 계산해서 보여주기만 할뿐 실질적으로 모델에 토크나이저를 수정/적용시키는게 아님
예를들어 특정 봇에서 클로드에서 678토큰이지만 openai에선 618토큰인데 토크나이저를 잘못 선택하면 사용자 입장에서 정확한 토큰을 볼수 없으니 소모 비용 계산할때나 공유할때나 뭐든 오차가 생겨버림

펼쳐보기▼

2024-05-20 04:10:39

아쉽구만...

펼쳐보기▼

2024-05-20 03:39:34

토크나이저는 모델 귀속이라 실제로 새로나온 OAI 토크나이저로 한글채팅 토큰이 절감되는건 해당 토크나이저랑 동일한 4o뿐임. 다른 모델에 해당 토크나이저를 적용해도 리스 디스플레이와는 달리 실제로는 그 모델 내부 토크나이저가 적용되기에 오차만 발생할 뿐임

펼쳐보기▼

2024-05-20 04:10:52

완벽히 이해함 ㄱㅅㄱㅅ

펼쳐보기▼

본 게시물에 댓글을 작성하실 권한이 없습니다. 로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 뉴스/팁 AI대화 공지 운영 뉴스(공사중)

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 29922664

공지 안 읽으면 죽어버리는 AI 채팅 채널 이용규정 [23.09.18]

몽상봉인 2023.05.22 50504

공지 AI 채팅 채널에 왔으면 이것부터 : 필수정보 및 FAQ

몽상봉인 2023.05.22 105156

공지 신문고 MK.X (해줘. 할때 쓰는 곳)

몽상봉인 2024.05.27 810

공지 ---[2회차 천박 대회 순위 발표!]---

hyeoyoms 2024.06.01 759

공지 ㅡㅡ [ AI 게임 / 기획 / 리뷰 대회 ' J.O.A.T ' 개최 ] ㅡㅡ

골든햄스터 2024.03.31 5103

공지 [DOL 봇 대회 수상자 발표]

WH_ 2024.04.27 2078

공지 AI 채팅 채널 프록시 게이트

몽상봉인 2023.07.12 23286

숨겨진 공지 펼치기(3개)

125756 일반 지금 사오 폼 좋네

ㅇㅇ 2024.06.02 17 0

125755 AI대화 유즈 간호 [8]

삑그리고다음 2024.06.02 54 4

125754 일반 VOICEVOX 일본어로 말해줄거라곤 생각도 못했네ㅋㅋㅋ

kasimo 2024.06.02 41 0

125753 일반 한번씩 ai와이프 상대로 잡담용으로 아무거나 말하는데 요즘 출산율 주제로 이야기하니까 [1]

다신롤안함 2024.06.02 32 0

125752 일반 [nsfw] 와이푸 보고가 [4]

참피 2024.06.02 55 1

125751 AI대화 417세 박니은 할머니 인생 중간쯤의 정강이 박★살 [2]

프라디 2024.06.02 55 3

125750 일반 오망고 제미니 V2 버전업해서 올렸음 [1]

지나가던얼굴 2024.06.02 35 1

125749 일반 제미니 조금만 인풋 어렵게 쓰거나 모순되게 쓰면 인풋무시해버리네

까키홍 2024.06.02 24 0

125748 일반 한입한출 챗뿡이들아 [6]

호후힝 2024.06.02 100 0

125747 일반 구글은 신이야

애액샤워 2024.06.02 64 0

125746 일반 렐름 업로드가 넘 안된다.. [1]

ㅇㅇ 2024.06.02 48 0

125745 일반 오늘은 여기까지.. [2]

Buchrenas 2024.06.02 53 1

125744 AI대화 임시로 봇만드는데 재밌네 [4]

Reckon 2024.06.02 74 4

125743 일반 덴덴이의 그림교실 진작 쓸 껄. [8]

풀프론탈 2024.06.02 187 6

125742 일반 봇 어떻게 해야하나 고민중인데 [7]

ㅇㅇ 2024.06.02 111 2

125741 일반 2차 창작의 봇을 조금이라도 완벽하게 만들기 위해서.. [2]

서아 2024.06.02 84 0

125740 일반 제미니 굴리는데 제미니가 미쳤다... [5]

마엘란 2024.06.02 158 7

125739 질문 잼민이로 채찍피티 형식 or 소설 쓰는 사람들 [5]

야미나베 2024.06.02 145 1

125738 일반 내일 멀티모달 나오게 해주세요 [5]

리프S2삿시부 2024.06.02 84 2

125737 일반 잼민이로 니은이랑 재밌게 잘놀았다. [4]

rktyog 2024.06.02 106 2

125736 일반 리스 사오 사용시 채찍사오처럼 사용가능? [3]

Amylong 2024.06.02 95 0

125735 AI대화 잼민이 육아챗에서 애기가 고집부린다 [10]

빵룡브래드 2024.06.02 90 5

125734 AI대화 아이네 프롬 쓰니까 루나가 이상해졌다 [2]

biyond 2024.06.02 54 1

125733 일반 게임하다가 이런것만 봐도 흠칫하네 [11]

ecf70e1c 2024.06.02 167 7

125732 일반 nsfw 로어북 존나 개꼴리는 거구나

ㅇㅇ 2024.06.02 70 0

125731 일반 위자드 계속 깎다보니까 조건부 돈깨스 언저리 느낌은 나는거같음 [1]

대배 2024.06.02 65 4

125730 AI대화 뉴비 제미니 갖고 놀다가 울었다 [13]

Flush 2024.06.02 403 15

125729 일반 로어북으로 옮기니까 괜찮네 [1]

정의의_사자_아네모네 2024.06.02 60 1

125728 일반 꼴리는 여캐보면 바로 봇 생각부터나네 [5]

할게업슴 2024.06.02 101 0

125727 AI대화 잼민이햄 빠꾸가 없네 [4]

이부키츠바사 2024.06.02 111 5

125726 일반 ai 별로 성향이 많이 다르군요 [2]

럭스레이제이 2024.06.02 145 0

125725 일반 사오 능지 왜이렇게 떨어진것같지 [3]

거친으르신의시간 2024.06.02 160 0

125724 일반 제타 이새끼 약간 문제가 많은거같다 [10]

ㅇㅇ 2024.06.02 217 3

125723 일반 오늘 알찼다 [1]

Skadia 2024.06.02 89 4

125722 뉴스/팁 AI의 미래는 엔비디아가 뒷받침 할 예정 [19]

Daydric 2024.06.02 350 11

전체글 개념글

사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.