여기 혹시 llama로 개발해본 사람 있어?

코딩 채널

알림 알림 중 알림 취소

구독자 3530명 알림수신 57명 @은월영

프로그래밍 및 코딩 채널

AI·Data 여기 혹시 llama로 개발해본 사람 있어?

리비아

추천 0 비추천 0 댓글 9 조회수 217 작성일 2024-03-26 10:54:35 수정일 2024-03-26 10:54:46

https://arca.live/b/programmer/102117543

로컬에 llama2받아서 ollama로
파인튜닝하고 langchain연결해서
rag도 하려고 하는데
비슷한 거 해본 사람 있어?

연산량이랑 램 필요량을 알고 싶음
메타에서 떠드는 만큼의 성능이 실제로 나오는지도 궁금

댓글 [9] 글쓰기

진격의엄ㅋ

2024-03-26 11:05:53 답글

mlx로 m1 pro에서 돌렸던거 같은데 참고 쓸만한 정도였던거 같은데

펼쳐보기▼

ㅇㅇ (220.126)

2024-03-26 11:09:56 삭제 수정 답글

*수정됨

llama2를 맥에 올려서 훈련시켰다고? ㄷㄷ 아님 mlx로 추론 최적화만 한 건가

펼쳐보기▼

진격의엄ㅋ

2024-03-26 11:38:51 답글

파인튜닝까진 무리일거임 아마 근데 생각해보면 통합메모리라 놓으니 Vram을 apple silicon만큼 많이 쓸 수 있는게 있나하면 또 없는거 같기도 하고

펼쳐보기▼

dummypnguin

2024-03-27 01:01:11 답글

개인적으로는 llama2 보다는 mistral v0.2나 다른 미스트랄 기반 모델들이 더 성능이 좋았던 느낌이긴 합니다.
램...보다는 vram이 더 중요하고, 저는 1660 그래픽카드 기준(vram 6gb) 7B모델 (양자화된거) 겨우 돌리는 수준
로컬에서 잠시 돌리는거라면 저 정도면 충분하겠지만, 한 번에 많이 돌려야 한다면 코랩에서 진행하는게 더 이득일겁니다. (4090이라도 있다면 상관없겠지만)

펼쳐보기▼

dummypnguin

2024-03-27 01:02:09 답글

+ 아마 이 챈 보다는 언어모델 로컬 채널이라고 있는데, 그쪽에서 질문하는게 더 나을겁니다.

펼쳐보기▼

리비아

2024-03-27 01:32:54 답글

ㄱㅅㄱㅅ

펼쳐보기▼

리비아

2024-03-27 01:32:49 답글

4090 2대 달린 서버를 사실상 혼자 쓸 수 있긴 함. 근데 48기가가 llm을 다 올리기엔 살짝 애매한 용량 같아서... ㅋ

코랩은 에폭마다 체크포인트 저장한다해도 감당 안될 것 같은데

펼쳐보기▼

dummypnguin

2024-03-27 02:48:58 답글

아 4090 2대면...ㅋㅋㅋㅋㅋㅋㅋㅋㅋ...
그럼 로컬로 하시는게 이득

펼쳐보기▼

임시닉ㅇㅇ

2024-04-01 11:50:14 답글

그럼 떡을 치고도 남지
3090으로도 어지간한 모델은 양자화된걸로 다 돌리는데

펼쳐보기▼

글쓰기

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 공지 정보 질문 잡담 유머 C/C++ C# Python Java Front-end Back-end 앱·겜 AI·Data 그 외

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 31010525

공지 코딩 채널에 오신 것을 환영합니다.

강성호 2022.03.31 18561

51 AI·Data 여기 혹시 llama로 개발해본 사람 있어? [9]

리비아 2024.03.26 218 0

50 AI·Data 아니... 논문에선 분명 [1]

진격의엄ㅋ 2024.03.18 216 1

49 AI·Data 데이터사이언스 비전공자가 취업하는 방법은 없을까? [4]

ㅇㅇ (223.39) 2024.02.27 207 0

48 AI·Data 솔직히.. GPT4 가 많은 것을 해준다고는 해도.. [11]

d4rk_butt3rfl13s 2023.12.07 406 1

47 AI·Data YOLOv3 생초보 질문! [9]

마늘 2023.10.26 180 0

46 AI·Data 기계가 어떻게 세상을 지배한다는거임? [10]

마늘 2023.10.23 270 1

45 AI·Data Windows 11에 MSSQL 깔아 쓸 사람들 주의할점 [2]

디비네스페아르 2023.10.18 178 1

44 AI·Data ChatGPT 같은거 만드는게 쉬운게 아닌데.. [7]

d4rk_butt3rfl13s 2023.10.18 266 2

43 AI·Data 학습 시키는데.. 램이나 그래픽 성능도 영향을 주나..? [4]

메가데레크로머 2023.08.19 236 0

42 AI·Data GPT 제발... [2]

P13rreSB1Str0 2023.08.07 238 0

41 AI·Data 연구하는 쪽이 더 재밌긴 하다.. [10]

P13rreSB1Str0 2023.07.20 270 2

40 AI·Data 와시발 지렸다 이런것도 있었구나 [5]

MjStone 2023.07.14 445 5

39 AI·Data 엄청난 과제를 받아서 하는 중 [2]

P13rreSB1Str0 2023.07.11 241 0

38 AI·Data AI 모델 고도화라는게 뭘까. [4]

P13rreSB1Str0 2023.07.06 232 1

37 AI·Data 네이트 봇은 코딩에 대해 어떻게 반응할지? [3]

그림쟁이 2023.06.14 197 0

36 AI·Data 아직까지 데이터 엔지니어는 구하기 힘든가? [4]

앙코딩 2023.05.14 198 0

35 AI·Data 구글이 개발한 챗봇 AI,Bard를 소개합니다! [2]

그림쟁이 2023.05.11 264 -3

34 AI·Data 왜 fully connected 층에서 크기가이런가요? [2]

Adbf 2023.05.09 101 0

33 AI·Data YOLOv5 모델 학습 [5]

dummypnguin 2023.05.08 211 0

32 AI·Data AI가 부른 최초의 음악, Daisy bell

그림쟁이 2023.05.08 182 1

글쓰기

전체글 개념글

사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.