Aside(어사이드)에서 AI 무료로 쓰는 법 (로컬 모델 x) — Transcript

Full transcript

1. 0:00이번 영상에서는 어사이드를 무료로
2. 0:01사용하는 방법을 알려 드리도록
3. 0:02하겠습니다. 댓글로 로컬 모델을
4. 0:04어떻게 설치해서 사용하냐고 이렇게
5. 0:06질문 많이 주셨는데요. 어 제가
6. 0:08컴퓨터로 많이 테스트를 해 봤습니다.
7. 0:09로컬 모델을 설치해서 사용을 해
8. 0:11봤는데 어 제 M5 메모리 16기B가
9. 0:15맥북에서 로콜 모델을 돌려도
10. 0:16어사이드가 뭐 여러 툴 콜링이나 그런
11. 0:19걸 하다 보니까 어사이드의 성능이 잘
12. 0:20안 나오더라고요. 이제 제가 다른
13. 0:21대안을 알려 드리도록 하겠습니다.
14. 0:23이제 로컬 모델을 돌리려면 여러분
15. 0:24컴퓨터의 성능이 엄청 좋아야
16. 0:26되는데요. 적어도 램 24GB 이상은
17. 0:29되셔야 됩니다. 뭐 램 24GB나 뭐
18. 0:31어떤 분들은 램 128GB 막 이런
19. 0:33분들도 있겠죠. 그 어사이드 S에
20. 0:34올라마 설치하고이 컴퓨터의 적절한
21. 0:36로컬 모델 설치하고 어사이드에
22. 0:38적용시켜 줘. 뭐 이런 식으로 트
23. 0:39입력하면이 어사이드가 컴퓨터 사양을
24. 0:41먼저 확인한 다음에 적절한 로컬
25. 0:42모델을 다운받아서 이제 실행을 하게
26. 0:44됩니다. 뭐 제가 잼막 4나 다양한
27. 0:46모델들을 테스트를 해 봤는데 램
28. 0:4816GB로는 터문니가 없더라고. 아예
29. 0:49거의 동작도 안 하는 수준이고 이게
30. 0:51왜냐면 어사이드 자체에서 툴콜링이나
31. 0:53이런 것들을 하기 때문에 좀 더
32. 0:54성능이 좋은 모델을 사용을 하셔야
33. 0:56됩니다. 그래서 이번 영상에서 그
34. 0:57대안으로는 M비디의 님을 활용하는
35. 0:59건데요. M비아에서 자체적으로 무료
36. 1:01모델을 API 형식으로 제공을 하고
37. 1:03있어요. 그거를 여러분들은 키 발금만
38. 1:05받아서 사용을 해 주시면 됩니다.
39. 1:06그래서 구글에 엔비디아 님이라고
40. 1:08검색하면은 구글 제일 상단에 뜨는
41. 1:10페이지가 있고 여기서 트라이 API
42. 1:12눌러 주시면 됩니다. 그러면 여기
43. 1:13모델들이 많이 있는데 제가이 중에서도
44. 1:15좀 테스트를 많이 해 봤어요.
45. 1:17추천드릴 만한 모델은 세 가지 정도가
46. 1:19있는데요. GLM 5.3이나 뭐키미
47. 1:21K3나 이런 좀 좋은 모델들도
48. 1:23있어요. 이런 모델도 한번 테스트해
49. 1:24보니까 너무 응답 속도가 늘어진다거나
50. 1:26이제 간단한 질문도 시간이 막 30분
51. 1:28걸린다거나 요런 문제들이 있었습니다.
52. 1:29그래서 속도도 적절히 나오면서 성능도
53. 1:31어사이드 동작할만큼 나오는 모델들을
54. 1:33몇 개 추천해 드리도록 하겠습니다.
55. 1:34근데 좀 주의하셔야 될 점이
56. 1:36소이라던가 뭐 GPT 5.62라던가
57. 1:38요런 거에 비하면 좀 성능이 떨어지긴
58. 1:40합니다. 여러분들이 단순한 반복
59. 1:42작업이나 이런 것들은 이런 무료 모델
60. 1:43사용해 주시면 되겠습니다. 제가
61. 1:45테스트해 본 결과 좀 추천드리는
62. 1:46모델은 첫 번째로요 엔비디아 모델인
63. 1:48네모트론 3.5 라이트닝 30 요거를
64. 1:50첫 번째로 추천드리고요. 두 번째로는
65. 1:52GLM 5.3 플래시 그리고 세
66. 1:54번째로는요 GLM 5.3 모델을
67. 1:56추천드립니다. GLM 5.3 모델
68. 1:57같은 경우에는 얘가 성능이 좋긴
69. 1:59해요. 좋긴 한데 너무 오래 걸려요.
70. 2:01그런 단점이 있으니까 뭐 내가 자동을
71. 2:02할 때 시간은 상관없다 하시면요
72. 2:04모델을 사용하시면 되겠습니다. 이제
73. 2:06연결 방법은 먼저이 엔비디아 님
74. 2:08가입을 해 주셔야 돼요. 가입을 해
75. 2:09주시면 이제요 API 키 발급 받아
76. 2:11가지고 연결해 줄 수가 있습니다.
77. 2:12이것도 그냥 어사이드에서이 모델
78. 2:14연결해 달라고 하면 되거든요. 뭐
79. 2:15직접 하셔도 되는데 요청하시는게 훨씬
80. 2:17편하실 겁니다. M비디아 API 발급
81. 2:19머트론 3.5 모델 사이드에
82. 2:21적용시켜줘. 뭐 이런 식으로 트
83. 2:22요청하시면 되거든요. 현재이 컴퓨터도
84. 2:23아직이 모델 설정을 안 해 놔서
85. 2:25이렇게 한번 요청 보내 보도록
86. 2:26하겠습니다. 그래서 중간에요 엔비디아
87. 2:27님 대부분 회원 가입이 안 돼 있으실
88. 2:29거예요. 그렇다 보니까 요거 회원
89. 2:30가입하신 다음에 중간에 얘가 뭐 회원
90. 2:32가입 뭐 해 달라 뭐 이런 식으로 할
91. 2:34겁니다. 정보 같은 건 좀 직접
92. 2:35입력해 주시고 계속이어서 진행하시면
93. 2:36되겠습니다. 그래서 요렇게 현재
94. 2:38엔비아 님 사이트가 열렸고 어 로그인
95. 2:40해 달라고 합니다. 그래서 만약에
96. 2:41여러분들이이 작업하는 걸 지켜보시다가
97. 2:43작업하는 도중에도 직접 입력해 주시면
98. 2:45훨씬 빠르게 해 주실 수가 있어요.
99. 2:46이제 로그인 정보가 저장이 되어
100. 2:47있다면 얘가 알아서 자동으로 하겠죠.
101. 2:49그래서 저는 로그인까지는 좀 직접 해
102. 2:51줬습니다. 로그인에서 좀 시간이
103. 2:53걸리기 때문에 이런 것도 기다리셔도
104. 2:54되는데 직접 해 주는게 좀 더 빠르긴
105. 2:56합니다. 이제 만약에 내가 요렇게
106. 2:58어사이드한테 요청 안 하고 직접
107. 3:00모델을 연결해 주고 싶다 하시면은
108. 3:02세팅 설정해 가신 다음에 여기 모델
109. 3:04눌러 주신 다음에 커넥트 하시고 여기
110. 3:06제일 밑에 애드 커스텀 프로바이더요
111. 3:08항목이 있어요. 그래서요 내용들을
112. 3:10채워 주시면 되거든요. 여기 API
113. 3:11키 발급받은 값 넣어 주시고이 모델
114. 3:13이름이라던가 요런 사항들을 채워
115. 3:15주시면 됩니다. 요거는 제가 샘플로
116. 3:17설명란에 달아드릴테니까 뭐 직접
117. 3:18설정하고 싶으신 분들은요 항목만
118. 3:20복사하셔 가지고 API 키만 넣으시면
119. 3:22되겠습니다. 네. 그래서 얘가 지금
120. 3:24어 API 키를 발급받고 있습니다.
121. 3:26키가 발급이 완료되었고 그래서 얘가
122. 3:28복사를 해 가지고 적용을 시킬
123. 3:29거예요. 이렇게 생성된 API키
124. 3:31볼트에 저장한다고 합니다. 그래서
125. 3:32이게 진짜 어사이드가 편리한
126. 3:34점이거든요. 알아서 API 키
127. 3:35발급받고이 볼트라는 곳에 저장한
128. 3:37다음에 또 다음에 쓸 때는이 볼트값
129. 3:38가져와서 그냥 넣어 주기만 하면 되는
130. 3:40겁니다. 그래서 요게 정말
131. 3:41편리합니다. 현재 얘는 요렇게
132. 3:43어사이드 모델 적용에 막혔다고
133. 3:44합니다. 얘가 세팅 화면을 제대로 못
134. 3:46찾아서 막힌 거 같아요. 이제 요런
135. 3:48에러가 뜨실 수도 있고 아니면
136. 3:49정상적으로 완료가 되신 분도 있을
137. 3:51겁니다. 만약에 이렇게 에러가 떴다면
138. 3:52여기 세팅스 모델에서 여기 커넥트의
139. 3:54애드 커스텀 프로바이더요 항목에요
140. 3:57내용들을 넣어 주시면 돼요. 베이스
141. 3:58URL
142. 4:03그리고 모델 아이디 네임도 데모트론
143. 4:063.5 요렇게 하겠습니다. 이제
144. 4:08그리고 여기 API 키값을 여러분
145. 4:10발급한요 키값을 복사해서 넣으시면
146. 4:12됩니다. 그래서 렇게 하고 세이브
147. 4:14눌러 보겠습니다. 그러면 여기 마이
148. 4:16프로바이더로 어 하나가 나왔고 이렇게
149. 4:18마이 프로바이더를 좀 엔비디아 님
150. 4:20렇게 설정하고 싶다 하시면 요런
151. 4:21이름도 바꿔 주시면 됩니다. 여기를
152. 4:23저도비디아 님으로 한번 해 볼게요.
153. 4:24네. 그러면 여기까지 설정이 완료가
154. 4:25되었고 그에 가셔 가지고 여기 모델을
155. 4:27뭐 마이 프로바이더 아직 여긴 안
156. 4:29바뀌었는데 그렇게 모델을 설정해 주면
157. 4:31되겠습니다. 한번 are유라고
158. 4:33물어볼까요? A few moments
159. 4:34later. 그래서 이렇게 답변이
160. 4:36왔는데 현재 거의 3분에 걸려서
161. 4:37답변이 왔어요. 제가 테스트할 때는이
162. 4:39정도까진 아니었는데 그래서 여러분들도
163. 4:41이제 다른 모델들을 한번 테스트해
164. 4:42보면서 어 적합한 모델 쓰시면 될 거
165. 4:45같고요. 어사이드에 무료 모델을
166. 4:46적용시킬 때 어사이드에서 요구하는
167. 4:48어느 정도의 사양이 있어요. 거예요.
168. 4:50뭐 어떤 컨텍스트 윈도우라든가 아니면
169. 4:52툴콜링 기능이 있어야 되고 뭐
170. 4:53서에트도 호출할 수 있어야 되고 이런
171. 4:55모델별로 필요한 사항이 있다 보니까
172. 4:57만약에 여러분들이 GPT나 클로드
173. 4:59구독하고 계시다면 연결해서 사용하는게
174. 5:01가장 베스트긴 한데 뭐 내가 계속 뭐
175. 5:03몇 분마다 이걸 반복적으로 요청해서
176. 5:05이제 그런 자동화를 한다 그래서
177. 5:06토큰이 많이 든다 하시는 경우에 이런
178. 5:08무료 모델 사용해 보시면 좋을 것
179. 5:09같습니다. 그래서 엔비디아 님이
180. 5:11사이트에가 보시면 요런 채팅 모델
181. 5:13말고도 이미지 모델이라던가 CR
182. 5:14모델, 뭐 TTS 모델 이런 모델들을
183. 5:16무료로 사용할 수 있어서 한번 쭉
184. 5:18둘러 보시고 필요한 모델이 있다면
185. 5:19사용해 보셔도 좋을 것 같습니다.
186. 5:21이번 영상에서는 로컬 LLM 대신
187. 5:23엔비디아 님을 사용해서 어 사이드를
188. 5:25무료로 사용할 수 있는 방법을
189. 5:26알아보았습니다. 여러분 컴퓨터가 만약
190. 5:28엄청 좋다. 뭐 램이 최소 24GB
191. 5:30이상이다 하시면 로컬 모델 설치해서
192. 5:32한번 테스트해 보셔도 좋을 것
193. 5:33같아요. 로컬 모델도 어느 정도
194. 5:35성능이 따라줘야 되고 이제 툴콜링
195. 5:37기능이 있어야 되고 이런 사항들이
196. 5:38있다 보니까 AI한테 물어보면서
197. 5:40테스트해 보시면 좋을 것 같습니다.
198. 5:42네, 그래서 이번 영상은 여기까지고
199. 5:43이제 궁금한 점이 있으면 댓글 달아
200. 5:45주세요. 감사합니다.