라마3 70B를 순정을 양자화 해서 구동하려하는데 양자화 4배랑 8배랑 성능차이가 큰가요??
구독자 3500명
알림수신 173명
제한없는 언어모델을 위한 채널
질문
라마3 70B 구동
추천
0
비추천
0
댓글
6
조회수
968
작성일
⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.
댓글
[6]
글쓰기
ㅇㅇ (210.91)
삭제
수정
Thomas_Shelby
bedovyy
Thomas_Shelby
ㅇㅇ (218.145)
삭제
수정
Thomas_Shelby
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
30957913
공지
Ai 언어모델 로컬 채널 이용규정
6220
공지
뉴비에게 도움 되는 글 모음
28222
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
9317
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
5386
공지
신문고
2341
숨겨진 공지 펼치기(1개)
4334
일반
sglang 좋네요
[1]
142
4
4333
일반
VRAM 이 부족하면 RAM 에 모델에 필요한 메모리를 할당하는 방법도 있나요?
[4]
189
0
4332
일반
Qwen2 72B 라이센스 GPT4o 물어봄
[1]
351
2
4331
질문
공부하다가 궁금한게 생겨서 질문드립니다
[1]
178
0
4330
일반
눕질문) ollama 에서 70b모델 돌리고 싶은데 가능할까요?
[7]
326
0
4329
일반
병렬로 처리 하는 방법이 있을까요?
[11]
362
2
4328
일반
젬마2를 내놔
[2]
341
3
4327
일반
TRPG NPC(AI)들과의 프리토킹에 적합한 모델은?
[2]
283
1
4326
일반
mi300x 나 mi300a 써보신분 계실까요?
[8]
292
1
4325
일반
CONTEXT를 주어주고 질문 할때 답변 오류 현상
[9]
215
0
4324
질문
arc a770 2대 이상으로 구성하신 분 계실까요?
[8]
335
1
4323
질문
Llama 70b mac 인퍼런스
[7]
384
0
4322
질문
Inference용 PC 구성 질문입니다
[24]
406
1
4321
질문
뉴비 질문이 있습니다.
[8]
277
1
4320
정보
[ver 1.1] 회사에서 LLM 으로 뭐해보라고 지시가 내려왔을때 먼저 참고해볼만한 글
[14]
1229
25
4319
일반
karpathy GPT-2 4시간 유튜브 강의.
[4]
419
6
4318
일반
openai GPT는 정말 눅눅해질까?
[5]
538
0
4317
스터디
qwen2 소개 - Part II 강화학습 단계에서 머징기법의 활용 (Feat. deccp)
[4]
740
20
4316
스터디
qwen2 소개 (Feat. 논문 3개 분석 - Part I)
[10]
1179
47
4315
일반
vllm, aphrodite 그리고 sglang (RadixAttention)
[3]
369
10
사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.