Ai 언어모델 로컬 채널 알림 알림 중 알림 취소 구독 구독 중 구독 취소 구독자 3505명 알림수신 173명 @바바리맨 제한없는 언어모델을 위한 채널 질문 3090×4에서 wizardlm 8x22b를 배포할 수 있을까요? 모맵 추천 0 비추천 1 댓글 6 조회수 695 작성일 2024-05-15 10:59:27 ⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다. https://arca.live/b/alpaca/106255214 대층 vllm 써보려 했는데 방법을 모르겠네요vllm은 잘 안써봐서 추천! 0 ( 0) 비추! 1 ( 0) 공유 댓글 [6] 글쓰기 namuduk 2024-05-15 11:02:05 답글 8x22x0.5 = 88GB 24x4= 96GB 길이 많이 줄이면 가능 할라나요? 펼쳐보기▼ ㅇㅇ (211.234) 2024-05-15 12:31:52 삭제 수정 답글 Moe모델이라 8x22b모델은 일반적인 176b 모델보다 작을껄요? 펼쳐보기▼ 그래요 2024-05-15 13:18:41 답글 4비트 정도면 되지 않으려나요 펼쳐보기▼ 모맵 2024-05-15 17:32:56 답글 아마 8비트로도 될 듯 한데... 구동 방법을 모르겠네요 펼쳐보기▼ 감별사 2024-05-16 06:05:41 답글 4비트로 됩니다 펼쳐보기▼ 모맵 2024-05-16 06:44:09 답글 혹시 실행 인자는 어떻게 주면 되려나요? 펼쳐보기▼ 새로운 댓글이 달렸습니다! 댓글 작성 음성댓글 아카콘 업로드 중 0초 해당 브라우저에서는 오디오 플레이어를 지원하지 않습니다. 녹음 중지 삭제 업로드 작성 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 최근 최근 방문 채널 최근 방문 채널 모두 삭제 전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모 번호 제목 작성자 작성일 조회수 추천 공지 아카라이브 모바일 앱 이용 안내(iOS/Android) *ㅎㅎ 2020.08.18 30992345 공지 Ai 언어모델 로컬 채널 이용규정 바바리맨 2023.04.18 6230 공지 뉴비에게 도움 되는 글 모음 바바리맨 2023.04.18 28260 공지 언어모델 관련 정보취득 /무료체험 가능 사이트 바바리맨 2023.04.18 9345 공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원 바바리맨 2023.08.01 5400 공지 신문고 바바리맨 2023.04.18 2342 숨겨진 공지 펼치기(1개) 1321 질문 vllm을 이용해서 로컬 LLM구축하려고하는데 GUI로 구축할 수 있는 방법이 있을까요? [8] AI마스터_되고시프다 2024.06.12 186 0 1320 질문 RAG 답변 생성에고 인용(출처) 문제 질문 있습니다. [10] ㅇㅇ (61.33) 2024.06.12 243 0 1319 질문 완전 문외한이라 핑프 같은 질문 미안한데 [5] ㅇㅇ 2024.06.12 267 1 1318 질문 공부하다가 궁금한게 생겨서 질문드립니다 [1] ㅇㅇ 2024.06.11 236 0 1317 질문 arc a770 2대 이상으로 구성하신 분 계실까요? [9] bedovyy 2024.06.10 361 1 1316 질문 Llama 70b mac 인퍼런스 [7] ㅇㅇ (118.235) 2024.06.10 424 0 1315 질문 Inference용 PC 구성 질문입니다 [24] ㅇㅇ (1.247) 2024.06.10 461 1 1314 질문 뉴비 질문이 있습니다. [8] tokai 2024.06.10 295 1 1313 질문 질문 및 간단한 실험결과 - 라마3의 <|end_of_text|> 적용문제 관련한 질문입니다. [5] Dikko 2024.06.09 436 1 1312 질문 WEB UI로 출력한 결과값을 HTML로 개인 사이트를 구현 가능할까요? [3] 아몰랑 2024.06.08 481 1 1311 질문 RAFT 적용시켜보신 분 계신가요? [2] ㅇㅇ (222.101) 2024.06.07 386 1 1310 질문 라마3 학습 하실때, 데이터 포맷을 어떻게 하시나요? [6] ㅇㅇ (211.184) 2024.06.06 494 0 1309 질문 허깅페이스에 올라온 수많은 라마3 모델들 어떤 차이가 있는지 궁금합니다. [8] rosewar 2024.06.06 657 0 1308 질문 혹시 vllm을 쓰지 않는 needle-in-a-haystack 코드가 있을까? 이하비스 2024.06.05 306 0 1307 질문 입력한 쿼리가 차지하는 token에 대한 질문 [4] 라파다 2024.06.05 366 0 1306 질문 LLM context 관련 질문드립니다 [4] Thomas_Shelby 2024.06.04 467 0 1305 질문 아래꺼 코드 전문 [10] 세법상법 2024.06.04 470 1 1304 질문 dpr에서 학습에 사용된 방법론과 raft간의 차이에서 생기는 의문 [4] lIlBrother 2024.06.04 343 1 1303 질문 5시간동안 디버깅하다가 안돼서 질문 [8] 세법상법 2024.06.04 427 0 1302 질문 추론에 대한 조건을 sft 학습에 직접적으로 사용함의 있어서 고민이 있네요 [4] lIlBrother 2024.06.04 274 0 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 전체 제목/내용 제목 내용 글쓴이 댓글 Keyword search form input 검색 1 2 3 4 5 6 7 8 9 10 시간으로 바로가기 사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.