Мое первое видео через скрипт! — Transcript

Full transcript

1. 0:00Мы разберём, что такое перпрон.
2. 0:04Персепторон определённый - это самая
3. 0:07простая нейросеть.
4. 0:09Её структура такая:
5. 0:12один нейрон и
6. 0:15бесконечное количество входов, сколько
7. 0:17угодно можно.
8. 0:21И один выход, хотя можно и два сделать
9. 0:24выхода.
10. 0:27Вот самая простая схема.
11. 0:32Это входы.
12. 0:41Это нейрон.
13. 0:46Это выход.
14. 0:52И при этом ещё должна быть функция
15. 0:54активации.
16. 0:56Самая простая - это сигмоида.
17. 1:00И при этом все эти сигналы суммируются.
18. 1:04И тут есть веса. Веса - это коэффициент,
19. 1:07на которой умножаются входы.
20. 1:11Вот первый вес и вот второй вес.
21. 1:15И при этом сигналы суммируются все в
22. 1:18нейрон.
23. 1:20То есть вот сумма сигналов. Но при этом
24. 1:23ещё есть смещение. Смещение - это как
25. 1:27дополнительный параметр.
26. 1:34Он равен одному, и у него тоже есть вес.
27. 1:40Потом входы прогоняются через
28. 1:44седьмойду. Переходим от теории к
29. 1:47практике. Напишем функцию суммирования
30. 1:50на питон.
31. 1:52Вот функция сикмоиды. Теперь будет
32. 1:54функция суммы.
33. 1:59Делаем, как бы говоря, нейрон.
34. 2:09Сумма равно
35. 2:16и по нашей формуле. Вот.
36. 2:27Теперь мы
37. 2:30обернём сумму в секду.
38. 2:48Вот у нас есть веса и входы
39. 2:52в переменных. Теперь
40. 2:55мы можем сделать предсказание.
41. 3:18Только проблема в том, что
42. 3:20>> это имя уже занято.
43. 3:23Поэтому делаем так.
44. 3:27Мы изменили имя функции на незанятые.
45. 3:30Вот такое значение у нас получается.
46. 3:34Нейрон уже готов, но пока что он выдаёт
47. 3:37только случайные значения. Ведь веса у
48. 3:40нас стандартные.
49. 3:45И вопрос, как их настроить правильно?
50. 3:48Ведь ручную их подверять долго и
51. 3:50бессмысленно. От эту до краси есть.
52. 3:54Самый простой способ - это градиентный
53. 3:57спуск. Сначала мы вычисляем, чему равна
54. 4:01ошибка.
55. 4:03Потом мы должны вычислить градиент.
56. 4:08Он как бы предсказывает то,
57. 4:11насколько сильно повлиял ответ нейросети
58. 4:17и насколько он сильно изменится при
59. 4:19изменении.
60. 4:21И чем больше вход, то чем и больше
61. 4:24градиент.
62. 4:25То есть как вектор или стрелка, которая
63. 4:28показывает
64. 4:30в каком направлении ответ лучше всего. И
65. 4:35при этом нам теперь нужно узнать
66. 4:37градиент.
67. 4:39Он вычисляется по формуле
68. 4:47умножить на
69. 4:55выход нейрона.
70. 5:01А вот и полная формула. Если что, мы тут
71. 5:04используем
72. 5:06упрощённые
73. 5:08вариант,
74. 5:10который для простых задач тоже может
75. 5:12сходиться. Теперь мы должны узнать, как
76. 5:16двигать по направлению веса.
77. 5:21Теперь мы должны, чтобы узнать прибавку,
78. 5:24мы должны
79. 5:27должны
80. 5:28перемену Learning rate. Она отвечает то,
81. 5:32насколько быстро. Ведь если его убрать,
82. 5:36тогда значение будет умножаться на
83. 5:38единицу. А это слишком быстро. И
84. 5:41нейросеть просто взорвёт свои веса. Эти
85. 5:45не станут большими. умножить на тот
86. 5:48самый градиент
87. 5:50и умножить на значение.
88. 5:53Ведь чем больше значение, то тем сильнее
89. 5:56будет градиент влиять.
90. 5:58И мы и напишем раз это. Мы делаем
91. 6:01функцию градиент. Мы в неё передаём
92. 6:04веса и правильные значения.
93. 6:08Сделаем так, чтобы визуально казалось
94. 6:10лучше.
95. 6:13Вычисляем предсказание.
96. 6:16прогоняю через форвард,
97. 6:18то есть через сум 2.
98. 6:44И вот у нас, то есть есть градиент. Вот
99. 6:48тут вычисляем ошибку, а вот тут градиент
100. 6:53или производную сигмойд. Теперь мы
101. 6:57обучаем веса.
102. 7:02От весов отнимаем
103. 7:06их.
104. 7:15Сделаем теперь финальное обучение
105. 7:22в 1.000 эпох. Скорее всего, хватит.
106. 7:25Циклично обходим
107. 7:28каждый элемент списка для того, чтобы
108. 7:31вытащить все значения. Используем сумму.
109. 7:37Вычисляем
110. 7:52ещё и градиенты.
111. 7:56Вот мы добавили вывод. Вот тут добавили
112. 7:59обучение сети.
113. 8:02Теперь мы запускаем и смотрим, какой
114. 8:05результат.
115. 8:09Смотрите, она вот выучила.
116. 8:17Вот, запустим, там 30.000 опох.
117. 8:23Вот такой результат.