Ai 언어모델 로컬 채널 알림 알림 중 알림 취소 구독 구독 중 구독 취소 구독자 3498명 알림수신 173명 @바바리맨 제한없는 언어모델을 위한 채널 질문 3090×4에서 wizardlm 8x22b를 배포할 수 있을까요? 모맵 추천 0 비추천 1 댓글 6 조회수 687 작성일 2024-05-15 10:59:27 ⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다. https://arca.live/b/alpaca/106255214 대층 vllm 써보려 했는데 방법을 모르겠네요vllm은 잘 안써봐서 추천! 0 ( 0) 비추! 1 ( 0) 공유 댓글 [6] 글쓰기 namuduk 2024-05-15 11:02:05 답글 8x22x0.5 = 88GB 24x4= 96GB 길이 많이 줄이면 가능 할라나요? 펼쳐보기▼ ㅇㅇ (211.234) 2024-05-15 12:31:52 삭제 수정 답글 Moe모델이라 8x22b모델은 일반적인 176b 모델보다 작을껄요? 펼쳐보기▼ 그래요 2024-05-15 13:18:41 답글 4비트 정도면 되지 않으려나요 펼쳐보기▼ 모맵 2024-05-15 17:32:56 답글 아마 8비트로도 될 듯 한데... 구동 방법을 모르겠네요 펼쳐보기▼ 감별사 2024-05-16 06:05:41 답글 4비트로 됩니다 펼쳐보기▼ 모맵 2024-05-16 06:44:09 답글 혹시 실행 인자는 어떻게 주면 되려나요? 펼쳐보기▼ 새로운 댓글이 달렸습니다! 댓글 작성 음성댓글 아카콘 업로드 중 0초 해당 브라우저에서는 오디오 플레이어를 지원하지 않습니다. 녹음 중지 삭제 업로드 작성 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 최근 최근 방문 채널 최근 방문 채널 모두 삭제 전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모 번호 제목 작성자 작성일 조회수 추천 공지 아카라이브 모바일 앱 이용 안내(iOS/Android) *ㅎㅎ 2020.08.18 30871157 공지 Ai 언어모델 로컬 채널 이용규정 바바리맨 2023.04.18 6208 공지 뉴비에게 도움 되는 글 모음 바바리맨 2023.04.18 28170 공지 언어모델 관련 정보취득 /무료체험 가능 사이트 바바리맨 2023.04.18 9302 공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원 바바리맨 2023.08.01 5370 공지 신문고 바바리맨 2023.04.18 2337 숨겨진 공지 펼치기(1개) 4328 일반 젬마2를 내놔 ㅇㅇ 2024.06.10 41 1 4327 일반 TRPG NPC(AI)들과의 프리토킹에 적합한 모델은? [2] 다시마주먹밥 2024.06.10 63 0 4326 일반 mi300x 나 mi300a 써보신분 계실까요? [3] ㅇㅇ (223.38) 2024.06.10 130 1 4325 일반 CONTEXT를 주어주고 질문 할때 답변 오류 현상 [1] ㅇㅇ (106.101) 2024.06.10 77 0 4324 질문 arc a770 2대 이상으로 구성하신 분 계실까요? [7] bedovyy 2024.06.10 193 1 4323 질문 Llama 70b mac 인퍼런스 [7] ㅇㅇ (118.235) 2024.06.10 211 0 4322 질문 Inference용 PC 구성 질문입니다 [23] ㅇㅇ (1.247) 2024.06.10 186 0 4321 질문 뉴비 질문이 있습니다. [5] tokai 2024.06.10 178 1 4320 정보 [ver 1.1] 회사에서 LLM 으로 뭐해보라고 지시가 내려왔을때 먼저 참고해볼만한 글 [14] hkhk 2024.06.10 839 24 4319 일반 karpathy GPT-2 4시간 유튜브 강의. [4] zzzzz5 2024.06.10 313 6 4318 일반 openai GPT는 정말 눅눅해질까? [4] oo 2024.06.10 392 0 4317 스터디 qwen2 소개 - Part II 강화학습 단계에서 머징기법의 활용 (Feat. deccp) [3] hkhk 2024.06.09 556 19 4316 스터디 qwen2 소개 (Feat. 논문 3개 분석 - Part I) [10] hkhk 2024.06.09 1001 46 4315 일반 vllm, aphrodite 그리고 sglang (RadixAttention) [3] 감별사 2024.06.09 319 10 4314 질문 질문 및 간단한 실험결과 - 라마3의 <|end_of_text|> 적용문제 관련한 질문입니다. [5] Dikko 2024.06.09 378 1 4313 질문 WEB UI로 출력한 결과값을 HTML로 개인 사이트를 구현 가능할까요? [3] 아몰랑 2024.06.08 448 1 4312 일반 Qwen2-72B-Instruct-GPTQ-Int4 일한 번역 성능 [6] bedovyy 2024.06.07 693 6 4311 일반 Qwen2 LogicKor 리더보드 추가 [2] maywell 2024.06.07 693 11 4310 일반 Qwen 72b 시스템 프롬프트 고친 후기. [3] 감별사 2024.06.07 558 6 4309 일반 vllm + qwen 2 72B 4bit 후기 (4060ti 16GB 4way) [4] 감별사 2024.06.07 532 6 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 전체 제목/내용 제목 내용 글쓴이 댓글 Keyword search form input 검색 1 2 3 4 5 6 7 8 9 10 시간으로 바로가기 사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.