라마3 70B를 순정을 양자화 해서 구동하려하는데 양자화 4배랑 8배랑 성능차이가 큰가요??
구독자 3449명
알림수신 170명
제한없는 언어모델을 위한 채널
질문
라마3 70B 구동
추천
0
비추천
0
댓글
6
조회수
893
작성일
⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.
댓글
[6]
글쓰기
ㅇㅇ (210.91)
삭제
수정
Thomas_Shelby
bedovyy
Thomas_Shelby
ㅇㅇ (218.145)
삭제
수정
Thomas_Shelby
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
29941419
공지
Ai 언어모델 로컬 채널 이용규정
Ai 언어모델 로컬 채널 이용규정
6119
공지
뉴비에게 도움 되는 글 모음
뉴비에게 도움 되는 글 모음
27662
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
9132
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
5258
공지
신문고
2302
숨겨진 공지 펼치기(1개)
1298
질문
LoRA 제작 두번 실패하면서 모은 질문들
[6]
304
3
1297
질문
데이터 형식 질문
176
0
1296
질문
공부하다가 모르는게 있어서 질문드립니다
[9]
533
3
1295
질문
text-generation-webui 에서 답변을 받아오고싶은데 뭘로 검색해야 찾아볼수있나요 ?
[1]
500
0
1294
질문
4060Ti 을 더 구매해서 vllm 을 사용하려합니다.
[2]
590
7
1293
질문
혹시 resnet 코드 한번만 봐주실수 있나요?
[2]
439
0
1292
질문
vllm을 langchain과 함께 사용할때 템플릿 적용 문제 질문드립니다.
354
1
1291
질문
Whisper에 대해 잘 아시는 분?
[8]
830
-1
1290
질문
간단한 질문드립니다!
[4]
317
0
1289
질문
회사에 RAG 쓰시는 분들에게 질문
[18]
1105
5
1288
질문
프롬프트 엔지니어링이라는 용어의 범주?
[2]
494
0
1287
질문
unsloth에서 device map 설정 방법 아시는 분 계실까요?
[2]
297
0
1286
질문
전력공학이나 전기공학 학습용 데이터같은것도있을까요?
[1]
280
0
1285
질문
contex 개념 좀 한번 잡아주세요
[4]
329
0
1284
질문
aphrodite-engine 모델 서비스
[8]
435
0
1283
질문
모델 받는중 오류
[2]
337
0
1282
질문
런팟 GPU 0개 질문
[7]
402
1
1281
질문
정말 간단한 용어에 대한 질문인데 헷갈려서요..
[6]
486
0
1280
질문
파인튜닌 할때 어떤거 사용하시나요?
[6]
583
2
1279
질문
파인튜닝한 모델을 기존 모델 참조 없이 독립적으로 저장하고싶을 때
[7]
476
1
사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.