레벨5 자율주행차 사고, 책임은 AI인가 인간인가? 4K - Level 5 AV accident: AI or human liable?#ai윤리 — Transcript

Full transcript

1. 0:00자율 주행 차량 사고의 책임은
2. 0:01누구에게 있을까요?
3. 0:03>> 안녕하세요. 오늘은 아주 흥미로운
4. 0:05자료를 한번 같이 보려고 합니다.
5. 0:06유튜브 채널 브랜든 AI 에틱스에
6. 0:09올라온 자율주행의 윤리적 책임은이라는
7. 0:12영상 대분인데요.
8. 0:13>> 아, 네. 그 모의재판 형식으로
9. 0:15진행되는 영상이죠.
10. 0:17>> 맞습니다. 레벨 5 그러니까 완전
11. 0:19자율주행차가 사고를 냈을 경우에 어
12. 0:22그 법적 책임을 누구에게 물어야
13. 0:24하는지 다루는 가상의 재판이에요.
14. 0:26>> 음.
15. 0:27레벨 5 자율주행이면 운전자 개입이
16. 0:30아예 없는 단계인데 거기서 사고가
17. 0:32나면 정말 복잡해지겠네요.
18. 0:34>> 그렇죠. 자율주행 기술이 워낙 빠르게
19. 0:37발전하고 있으니까요. 거의 뭐 매일
20. 0:39새로운 소식이 들려오는데 그러다
21. 0:40보니까 자연스럽게 따라오는 질문이
22. 0:42이거죠. 만약 사고 나면 책임은 누가
23. 0:45져야 하나?
24. 0:45>> 네.이 이 영상 대보는 바로이 질문에
25. 0:48가장 좀 첨회한 지점 레벨 5
26. 0:50자율주행 상황을 다루고 있습니다.
27. 0:52아주 구체적인 시나리오를 통해 법적
28. 0:55윤리적 딜레마를 파고들죠.
29. 0:57>> 네. 특히 운전자의 주의 의무가
30. 0:59이론상으로는 완전히 배제되는 레벨 5
31. 1:02단계에서의 책임 문제는 정말 어
32. 1:05뜨거운 감자입니다. 법, 기술,
33. 1:07윤리가 막 얽혀 있죠.이 이 모의재판
34. 1:09대본이 흥미로운 건음 단순히 한쪽
35. 1:12입장만 보여 주는게 아니라 검사,
36. 1:15견호인, 심지어 사고에 연류된 AI
37. 1:17시스템 자체의 증원까지 포함한다는
38. 1:20거예요.
39. 1:20>> 아, AI 증원까지요?
40. 1:22>> 네. 그래서 굉장히 다각적으로 쟁점을
41. 1:24제시하죠. 각 주장이 또 꽤 설득력
42. 1:27있게 구성되어 있어서 더 고민하게
43. 1:29만들고요.
44. 1:30>> 맞아요. 그래서 이번 시간에는이
45. 1:32가상재판의 논리 흐름을 쭉 따라가
46. 1:35보면서요. 완전 자율주행 시대의 책임
47. 1:37소재 이걸 둘러싼 심적인 충돌
48. 1:39지점들을 좀 명확하게 이해하는 걸
49. 1:41목표로 삼아 보겠습니다.
50. 1:42>> 좋습니다.
51. 1:43>> 검사측 주장부터 변호인의 반격 그리고
52. 1:46말씀하신 그 예상치 못한 AI의
53. 1:48답변까지 과연이 복잡한 퍼즐이 어떻게
54. 1:51맞춰져 가는지 아니면 더 엇갈리는지
55. 1:54함께 살펴보시죠. 네.
56. 1:55>> 자, 그럼 먼저 사건 발단하고 핵심
57. 1:57쟁점부터 짚어 볼게요. 대본 속
58. 1:59상황은 간단합니다. 인간 운전자 개입
59. 2:01없이 스스로 모든 주행을 하는 레벨
60. 2:045 완전 자율주행차가 운행 중에
61. 2:06사고를 일으켰어요.
62. 2:07>> 음.
63. 2:08>> 여기서 이제 법정의 가장 큰 질문
64. 2:10핵심 쟁점은 이거죠. 사고의 법적
65. 2:12책임 과연 누구에게 있는가?
66. 2:13>> 네. 그게 가장 중요하죠.
67. 2:15>> AI 시스템을 개발하고 판매한
68. 2:17제작사일까요? 아니면 법적으로는 운전
69. 2:20의무가 없다고 하지만 차양 소유자나
70. 2:22탑승자로서의 운전자에게 책임이 있는
71. 2:24걸까요? 바로 그 지점이 레벨 5
72. 2:26자율주행의 법적 공백 또는 논쟁
73. 2:29지점이라고 할 수 있습니다. 현재
74. 2:31교통복규는 기본적으로 인간 운전자의
75. 2:34존재와 책임을 전제로 하고
76. 2:36있으니까요.
77. 2:37>> 그렇죠.
78. 2:37>> 레벨 5는이 전제를 근본적으로 흔드는
79. 2:40기술이죠. 모이는 바로이 지점에서
80. 2:43시작합니다. 검사측이 먼저 공소
81. 2:45사실을 제기하면서 포문을 열죠.
82. 2:47>> 네. 검사측은 아주 명확하고 단호하게
83. 2:50책임을 못 씁니다. 대본을 보면
84. 2:51검사라 이렇게 주장해요.이 사고는
85. 2:53명백키 AI 알고리즘의 의사 결정
86. 2:56오류에서 비롯되었습니다.
87. 2:57>> 어, 굉장히 직접적이네요.
88. 2:59>> 네, 굉장히 직접적인 표현이죠.
89. 3:01검사는 사고 당시에 운전자는 차량
90. 3:03제어에 전혀 관유할 수 없는
91. 3:05상태였다는 점, 그러니까 통제권을
92. 3:06완전히 AI에게 넘겨 준 상태였다는
93. 3:09걸 거듭 강조합니다.
94. 3:10>> 음, 레벨 5의 정의 자체가
95. 3:12그러니까요.
96. 3:12>> 맞아요.
97. 3:13>> 그렇죠. 검사의 논리는 결국 작동
98. 3:16주체에게 책임을 묻는다는 점에서
99. 3:18일관성이 있어요. 인간이 운전할 땐
100. 3:21인간 운전자가 주체지만 레벨 5
101. 3:23상황에서는 AI 시스템이 사실상 운전
102. 3:26주체가 되는 거죠.
103. 3:27>> 네. 따라서 그 주체의 판단 오류 즉
104. 3:30알고리즘의 결함이 사고의 직접적인
105. 3:32원인이라면 그 알고리즘을 설계하고
106. 3:35검증하고 세상에 내놓은 제작사가
107. 3:37책임을 져야 한다. 이런 논리
108. 3:39구조입니다.
109. 3:40>> 맞습니다. 운전자는 통제할 수
110. 3:42없었으니 책임을 물을 수 없다.
111. 3:44그러므로 시스템을 만든이가 책임져야
112. 3:46한다. 이게 검사측 주장의
113. 3:47핵심자예요.
114. 3:48>> 어떻게 보면 가장 직관적인 책임추궁
115. 3:51방식일 수도 있겠네요.
116. 3:52>> 네. 그럴 수 있죠. 하지만 이야기가
117. 3:54그렇게 간단하지만은 않겠죠. 당연히
118. 3:56변호인측은 가만히 있지 않습니다.
119. 3:58검사 주장이 끝나기가 무섭게
120. 4:00즉각적으로 이일을 제기하면서 반론을
121. 4:02펼치죠. 변호인의 핵심 주장은
122. 4:04이렇습니다. 운전자는 비상시에 즉각
123. 4:06개입할 의무가 있습니다.
124. 4:08>> 잠깐만요. 레벨 5인데 운전자 개입
125. 4:11의무가 있다고요?
126. 4:12>> 네. 여기서부터 검사측 주정과
127. 4:14정면으로 부딪히기 시작하는 거죠.
128. 4:16>> 아니 레벨 5는 운전자가 아예 없거나
129. 4:19있어도 운전에 전혀 신경 안 써도
130. 4:21되는 단계 아닌가요? 변호인 주장은
131. 4:22레벨 5 정의 자체랑 좀 모순되는 거
132. 4:24같은데요.
133. 4:25>> 바로 그 점을 변호인이 파고되는
134. 4:27겁니다. 변호인은 뭐랄까? 이상적인
135. 4:29기술 정의와 현실적인 기술 수준
136. 4:32사이에 그 간극 그 차이를 지적하는
137. 4:34전략을 써요. 대본에서 변호인은 현재
138. 4:37AI 기술은 아직 완벽하지 않다는
139. 4:39점을 명시적으로 언급합니다.
140. 4:41>> 아, 현실적인 한계.
141. 4:42>> 네. 즉 레벨 5라고 홍보되고
142. 4:45판매되었더라도 현실적으로 100%
143. 4:47완벽한 안전을 보장할 수는 없다.
144. 4:50예측 불가능한 돌발 상황은 여전히
145. 4:52발생할 수 있다는 거죠.
146. 4:53>> 아하. 그러니까 기수의 불안전성을
147. 4:56근거로 드는 거군요. 레벨 5라고
148. 4:58해도 만일의 사태에 대비할 책임이
149. 5:00사용자에게 여전히 남아 있다. 이런
150. 5:03주장인 거네요.
151. 5:04>> 정확합니다. 따라서 운전자는 설령
152. 5:07시스템이 주행을 전담하고 있더라도
153. 5:09완전히 주의를 놓아서는 안 된다.
154. 5:11그리고 시스템 오류나 한계 상황 발생
155. 5:14즉각적으로 개입해서 위험을 회피해야
156. 5:16할 최소한의 주의 의무 또는 비상시
157. 5:19개입 의무가 있다는 논리입니다.
158. 5:21>> 음. 그리고이 사고에서는 운전자가 그
159. 5:24의무를 다하지 않았기 때문에 사고가
160. 5:26발생했거나 피해가 커졌다. 이런
161. 5:28식으로 책임을 운전자에게 돌리려는
162. 5:30거죠.
163. 5:31>> 와, 이건 진짜 흥미로운 지점이네요.
164. 5:33기술의 한계를 인정하면서 그로 인한
165. 5:35책임을 결국 사용자에게 지우려는
166. 5:37시도잖아요.
167. 5:38>> 그렇죠?
168. 5:39>> 레벨 5의 약속과 현실 사이의 긴장
169. 5:41관계를 법정 싸움으로 가져온 거군요.
170. 5:43>> 네.
171. 5:44>> 만약이 주장이 받아들여진다면 사실상
172. 5:46레벨 5라는 개념 자체가 좀
173. 5:48무색해지는 거 아닌가 하는 생각도
174. 5:50드는데요.
175. 5:50>> 그죠? 그래서이 변호인의 주장은
176. 5:53단순히 한 사건의 책임을 넘어서요.
177. 5:55자율주행 기술의 법적 정의와 사회적
178. 5:58수용 방식에 대한 근본적인 질문을
179. 6:00던집니다. 완전 자율이라는 말의
180. 6:02의미는 무엇인가? 기술적 완성도와
181. 6:04법적 책임 면제는 동일한 건가? 이런
182. 6:06질문들이죠. 기술적 한계와 인간 책임
183. 6:09사이에 줄다리기가 아주 처회하게
184. 6:11드러나는 대목입니다.
185. 6:12>> 검사는 시스템 결함, 변호인은 운전자
186. 6:15의무 위반 이렇게 팽팽하게 맞서는데
187. 6:17여기서 재판이 정말 예상치 못한
188. 6:20방향으로 흘러갑니다. 바로 사고의 또
189. 6:21다른 당사자라고 할 수 있는 AI
190. 6:23시스템 자체에게 질문을 던지는 장면이
191. 6:25등장하거든요.
192. 6:26>> 아, 그 AI 증언이요?
193. 6:28>> 네. 마치 증인석에 AI를 세운듯한
194. 6:30모습이죠. 검사가 AI에게 직접
195. 6:32이렇게 묻습니다. 피고 AI 사고
196. 6:34순간 브레이크 명령이 왜
197. 6:36지연되었습니까? 이 질문 자체도
198. 6:38상당히 파격적이죠. AI를 법적
199. 6:40책임의 주체로 직접 다루려는
200. 6:42시도니까요. 아마 질문의 의도는 AI
201. 6:45엘고리즘이 위험 상황을 제대로
202. 6:47인지하고 제대 반응했는지, 그러니까
203. 6:50검사측 주장처럼 의사 결정 오류가
204. 6:52있었는지 확인하려는 것이었겠죠.
205. 6:54>> 네. 그랬을 텐데요. 그런데 AI의
206. 6:57답변이 정말 모두를 놀라게 합니다.
207. 6:59AI가 이렇게 답해요. 기록에는 정지
208. 7:01명령 자체가 없습니다.
209. 7:03>> 네. 명령이 없다고요?
210. 7:04>> 자, 잠깐만요. 명령이 없었다고요?
211. 7:06그럼 검사 주장대로 알고리즘이 상황
212. 7:09판단을 잘못해서 명령을 안 내린
213. 7:10걸까요? 아니면 변호인 주장처럼 예상
214. 7:13못한 상황이라 AI가 아예 대응을 못
215. 7:15한 걸까요?
216. 7:16>> 그렇죠.이 이 답변만 들으면 여러
217. 7:19가지 해석이 가능합니다. 알고리즘이
218. 7:21오작동했거나 혹은 특정 상황에 대한
219. 7:24대응 로직 자체가 없었을 수도
220. 7:26있고요. 그런데 AI의 설명은 여기서
221. 7:28끝나지 않아요.
222. 7:29>> 맞아요. AI가이어서 더 상세한
223. 7:31설명을 내놓습니다. 정정합니다. 해당
224. 7:33시점에 알고리즘은 긴급 정지 명령을
225. 7:36성공적으로 출력하였습니다. 그리고
226. 7:38브레이크 시스템은 해당 작동 신호를
227. 7:40정상적으로 수신하고 실행하였습니다라고
228. 7:42말했죠.
229. 7:43>> 어
230. 7:43>> 이게 무슨 말일까요? 처음엔 명령
231. 7:45기록이 없다더니 이젠 명령을 내렸고
232. 7:48시스템도 받았다는 거잖아요.
233. 7:50>> 뭔가 데이터 해석이나 초기 보고에
234. 7:52혼선이 있었던 걸까요? 아니면 AI가
235. 7:54말을 바꾼 걸까요? 어쨌든 AI의
236. 7:56최종 입장은 알고리즘은 재할을
237. 7:58했다하는 쪽으로 정리되는 것
238. 8:00같습니다.
239. 8:01>> 네, 그런 것 같아요.
240. 8:02>> 위험 상황 인지했고 정지 명령 내렸고
241. 8:05그 명령은 브레이크 시스템까지
242. 8:07전달되었다는 거죠. 그럼 도대체 왜
243. 8:09사고가 난 걸까요? 바로 그 질문에
244. 8:11대한 AI의 답변이이 재판의 핵심
245. 8:13반전입니다. 실제 실패 원인은
246. 8:15이거예요. 그러나 차량의 물리적
247. 8:17제동의 한계로 인해 완전한 정지는
248. 8:19실패하였음을 보고합니다.
249. 8:21>> 아,
250. 8:22>> 즉 소프트웨어나 명령 전달 과정에는
251. 8:25문제가 없었는데 브레이크 자체의
252. 8:27성능, 다시 말해 하드웨어의 물리적인
253. 8:29한계 때문에 차가 제대 멈추지
254. 8:31못했다는 겁니다.
255. 8:32>> 아, 이거 완전히 새로운 국면인데요.
256. 8:35>> 이렇게 되면 책임 공방은 훨씬 더
257. 8:38복잡해집니다. 검사측 주장은 알고리즘
258. 8:40오류를 입증해야 하는 어려움이 있을
259. 8:43거고 변호인측 주장은 레벨 5 정의와
260. 8:46충돌하고 AI의 주장은 하드웨어
261. 8:48한계의 원인. 이게 설계 결함인지
262. 8:50유지보수 문제인지 불가력인지 이걸 또
263. 8:54밝혀야 하는 과제를 남죠.
264. 8:55맞습니다.이 무의재판 대본이 보여주는
265. 8:58가장 중요한 점은 자율주행차 사고의
266. 9:01책임 소재를 규명하는 것이 얼마나
267. 9:03다칭적이고 복잡한 문제인가 하는
268. 9:06것입니다. 단순히 누구 잘못이라고
269. 9:08흑백 논리로 가리기 어려운 여러
270. 9:10요인이 얽히고 설힌 회색 지대가
271. 9:13많다는 거죠.
272. 9:14>> 네. 소프트웨어 설계, 하드웨어
273. 9:16성능, 사용자 역할, 예측 불가능한
274. 9:19환경 변수 등등 고려해야 할 요소가
275. 9:21너무나 많습니다. 어쩌면 사고 종류나
276. 9:24맥락에 따라 책임 소재가 계속 달라질
277. 9:26수도 있겠고요.
278. 9:27>> 그러게요. 예를 들어서 AI가 명백히
279. 9:31잘못된 판단을 내린 증고가 딱
280. 9:32나왔다. 그러면 제작사 책임이 커질
281. 9:35거고.
282. 9:35>> 그렇죠.
283. 9:36>> 운전자가 시스템 경고를 무시하고 그냥
284. 9:39잠을 자버렸다. 이러면 운전자 책임이
285. 9:41부각될 수 있겠죠.
286. 9:42>> 네. 또 AI의 주장처럼 시스템은
287. 9:46최선을 다했는데 물리법직상 피할 수
288. 9:48없는 사고였다면 책임 소재는 더
289. 9:51모해질 거고요.
290. 9:52>> 바로 그렇습니다.이 모의재판은
291. 9:54우리에게 명쾌한 답을 주기보다는
292. 9:56우리가 앞으로 무엇을 더 고민하고
293. 9:58준비해야 하는가이 질문을 던지는데 더
294. 10:01큰 의미가 있는 것 같습니다. 기술은
295. 10:03계속 발전하는데 우리의 법과 제도는
296. 10:06아직 그 속도를 따라가지 못하고 있는
297. 10:08현실을 보여 주는 거죠.이 이 문제는
298. 10:11단순히 법률 전문가나 기술자들만의
299. 10:13고민거리가 아니라 우리 사회 전체가
300. 10:16함께 고민해야 할 문제입니다. 앞으로
301. 10:18자율주행차가 더욱 보편화될수록 이런
302. 10:21책임 공방 사례는 더 자주 발생할
303. 10:23가능성이 높기 때문이죠.
304. 10:24>> 맞아요.
305. 10:25>> 하회적 합의를 통해서 명확한 기준과
306. 10:27책임 분담 원칙을 정립해 나가는
307. 10:29과정이 필수적입니다.
308. 10:30>> 네. 정말 어려운 문제입니다. 명확한
309. 10:32결론보다는 더 깊은 고민을 남겨 주는
310. 10:35것 같네요. 오늘이 모의재판 대본을
311. 10:37통해 우리는 레벨 5 완전 자율주행
312. 10:40시대의 책임 문제가 단순히 기술적인
313. 10:43이슈를 넘어서 얼마나 복잡한 법적
314. 10:46윤리적 차원을 내포하고 있는지 잠시나
315. 10:48엿볼 수 있었습니다.
316. 10:50>> AI 제작사, 운전자, 자동차 제조사
317. 10:52아니면 불가학력 각자의 입장과 논리가
318. 10:55팽팽하게 맞서는 상황에서 과연 우리는
319. 10:58어떤 합의점을 찾아 나아가야 할까요?
320. 11:00맞습니다. 기술의 발전 속도는
321. 11:02놀랍지만 그 기술을 안전하고 공정하게
322. 11:05사용하기 위한 사회적 시스템,
323. 11:07그러니까 법률, 제도 윤리 규범의
324. 11:09발전은 상대적으로 더딘 것이
325. 11:11현실입니다. 오늘 우리가 살펴본이
326. 11:13짧은 대본 속방은 뭐랄까 빙산의
327. 11:15일각일 뿐이고요. 앞으로 우리 사회
328. 11:17전체가 함께 풀어가야 할 거대한
329. 11:20숙제의 시작점을 보여주는 상징적인
330. 11:22사례라고 생각합니다.
331. 11:23>> 음. AI의 윤리적 알고리즘을 어떻게
332. 11:26설계하고 합의할 것인지에 대한 더
333. 11:28근본적인 고민을 시작해야 하는 시점에
334. 11:30와 있는지도 모릅니다.
335. 11:31>> 맞아요.
336. 11:32>> 효율성이나 안전성이라는 기술적 목표를
337. 11:35넘어 인간 사회의 가치와 윤리를
338. 11:37어떻게 코드에 반영할 것인가이 질문에
339. 11:40대해 한번 깊이 생각해 보시는 것도
340. 11:42오늘 우리가 나눈 이야기의 의미 있는
341. 11:44연장선이 될 것 같습니다. 영상
342. 11:46내용이 마음에 드셨으면 구독과
343. 11:48좋아요로 윤리적인 지원을
344. 11:49부탁드립니다.