Приоритизируй это: принятие решений в условиях неопределённости / Сергей Бережной — Transcript

Full transcript

1. 0:05Тему этого доклада лилеял очень-очень
2. 0:07давно. Вообще действительно, вот для
3. 0:10тех, кто не знает, кто я, кто-то
4. 0:12наверняка меня впервые видит, да? Кто
5. 0:14меня впервые видит? Полно людей. Вот.
6. 0:17Знакомьтесь, короче, я Серёжа Бережной.
7. 0:20Э, никнейм мой VГет. Широко известен в
8. 0:23узких кругах. В Яндексе давно работаю. И
9. 0:26в контексте текущего доклада, наверное,
10. 0:28важно будет, что за свою карьеру в
11. 0:30Яндексе я был как Тимледом, так и
12. 0:34Тимледом Тимледов. Тимледов Тимледов,
13. 0:36Тимледов. В общем, руководил
14. 0:39относительно крупной организацией э
15. 0:42внутри большой компании и делал очень
16. 0:45много разных продуктов по типу своему,
17. 0:47как технических, так и продуктовых.
18. 0:51И, ну, насмотрелся всякого, конечно, да.
19. 0:54Кто кому интересно, можете ещё на
20. 0:55автопате подойти, но ээ в контексте вот
21. 0:58этого опыта ээ очень прикольно
22. 1:02выкристаллизовалось у меня какое-то
23. 1:03такое отношение, как в целом э хорошо бы
24. 1:08принимать решения, да, и какие есть э
25. 1:11может быть методологии принятия решения.
26. 1:14Вот кстати у меня, да, у меня есть
27. 1:16профиль на нашем чудесном сорскрафте,
28. 1:19там же будет доступна эта презентация.
29. 1:21Тоже можно сфоткать слайд и приходить.
30. 1:24Так вот, давайте двинем дальше, да, про
31. 1:27как приоритизировать вообще, о чём о чём
32. 1:30речь и как на каких примерах я буду
33. 1:32сегодня вам рассказывать вот такую
34. 1:35антологию методов от простого к
35. 1:38сложному. А
36. 1:41вот
37. 1:41товарищ Мунк, да, написал свою картину
38. 1:44предположительно после того, как увидел
39. 1:46ээ всё то, что предстоит среднему
40. 1:49тимледу сделать за семестр, за ревюшный
41. 1:52период.
42. 1:53и технические задачи, и продуктовые
43. 1:55задачи, и ещё вчера что-то тоже нужно
44. 1:58было сделать срочно. И всё из этого, как
45. 2:02обычно полагается менеджером, мы хотим
46. 2:04когда, вчера, чем мы можем пожертвовать,
47. 2:07ничем. Но так не бывает. И в любом
48. 2:11случае, даже если вы очень изо всех сил
49. 2:13хотите сделать всё, у вас ограниченное
50. 2:15количество ресурсов, и как минимум вы
51. 2:17будете приоритизировать просто по
52. 2:20причине того, что вы всё сделать не
53. 2:21успеете. Да. ну, не знаю, в хорошей и
54. 2:24продуктово наполненной компании. И
55. 2:27получается, что приоритизировать нужно
56. 2:28вещи в диапазоне от мм каких-то там
57. 2:32спринтов, что вы делаете на протяжении
58. 2:34там 2ву недель до каких-то среднесрочных
59. 2:37целей и в том числе каких-то
60. 2:39долгосрочных целей на горизонте там, не
61. 2:41знаю, нескольких месяцев или нескольких
62. 2:43лет, в зависимости от того, как долго,
63. 2:45какой большой у вас цикл планирования.
64. 2:47И,
65. 2:49ну, кажется, что к этому всему вот, да,
66. 2:52когда у вас такой инженерный склад ума,
67. 2:54к этому всему можно подходить с одним и
68. 2:56тем же подходом, с одинаковыми
69. 2:58принципами. И вот я попытался собрать
70. 3:01всё-всё-всё, что я знаю, от самых
71. 3:05простых вариантов приоритизации, да,
72. 3:08например, э, вот узнал такое слово, D m
73. 3:12Crazy это называется, да,
74. 3:14точкакратия. Э-э, это когда вы просто
75. 3:17берёте, заставляете всю команду из трёх
76. 3:20стикеров точечных наклеить самое важное
77. 3:24на какую-то матрицу или просто список
78. 3:27всех известных вам задач. А простая
79. 3:30очень сортировка топ, когда мы просто
80. 3:34берём и тупо делаем самое важное, да,
81. 3:36побольше бери, подальше кидай, пока
82. 3:38летит, отдыхай. Чуть посложнее метод
83. 3:41матрица изхаура. Не знаю. Вот давайте
84. 3:43тоже проверим, сверим наши ориентиры.
85. 3:45Кто знает, что такое матрица
86. 3:47Эйненхауера?
87. 3:49Оказывается, не все. Или кто-то просто
88. 3:51не любит поднимать руки, да? Э, ну, в
89. 3:53общем, это когда вы просто делаете
90. 3:56деление на важное, неважное, срочное и
91. 3:59несрочное. Соответственно, неважное,
92. 4:01несрочное не делаете никогда, а важное и
93. 4:04срочное делаете прямо сейчас. А на всё
94. 4:06остальное тоже, скорее всего, времени не
95. 4:07остаётся. Ну, такая как бы простая очень
96. 4:11модель, которая позволяет, ну, уж точно
97. 4:14сделать вот то, что самое важное.
98. 4:17Но, конечно,
99. 4:19это этого мало, да, есть методы
100. 4:21чуть-чуть посложнее.
101. 4:23Есть, например, как расшифровывается
102. 4:27impact confidence is. То есть мы берём и
103. 4:32составляем такую формулу для скоринга,
104. 4:35где импакт - это то, насколько мы хорошо
105. 4:38что-то сделаем, насколько это улучшит
106. 4:39наши метрики. Confidence, насколько мы
107. 4:42уверены в том, что это произойдёт и ээ и
108. 4:46такая лёгкость реализации. Да, на самом
109. 4:49деле, по большому счёту, это можно
110. 4:50перефразировать, как дорого нам это
111. 4:51будет стоить. И мы смотрим вот это вот
112. 4:54соотношение профита, помноженного на
113. 4:57вероятность этого профита, поделённое на
114. 4:59соотношение к усили усилиям на
115. 5:03реализацию.
116. 5:04Есть следующее Райс. Райс, мне кажется,
117. 5:06по-моему, самая распространённая модель,
118. 5:09да, в, не знаю, в из того, что я слышал
119. 5:12снаружи. э чуть-чуть более усложнённая,
120. 5:15да, мы добавляем к э вот этому самому
121. 5:19нашему импакту и конфиденсу ещё и
122. 5:23то есть
123. 5:25аудиторные какие-то показатели,
124. 5:26насколько пользователей мы можем вот это
125. 5:29вот наше планируемое изменение там
126. 5:32раскатить. Есть ещё, эээ, более ээ
127. 5:36экзотичные такие способы приоритизации,
128. 5:40как, например, VS, WSGF.
129. 5:44Э, взвешенная,
130. 5:47как это сказать-то, взвешенная, наиболее
131. 5:49лёгкая, э- работа, да, которую мы делаем
132. 5:53в первую очередь. И мы тоже там
133. 5:56взвешиваем стоимость промедления,
134. 6:00которая состоит из бизнесvue, которое мы
135. 6:03не дополучаем, не сделав что-то. Смотрим
136. 6:06на то, насколько нам срочно это нужно
137. 6:08сделать, и примерно представляем
138. 6:11какой-то коэффициент риска.
139. 6:14Ещё тактак
140. 6:17не спешим.
141. 6:19Ещё один способ приоритизации вот в
142. 6:22таких вот средних методах. Москул
143. 6:24называется, да, когда мы разделяем всё,
144. 6:28что у нас есть, все варианты действий,
145. 6:30которые нам нужно поделать, на четыре
146. 6:32такие составляющие: must, should, could
147. 6:35и want. Соответственно, похоже что-то на
148. 6:38ту же самую матрицу Изенхаура, да, как
149. 6:40минимум по четырём этим самым -
150. 6:45разделам. И
151. 6:47сами для себя принимаем решение, что
152. 6:50нужно как бы сделать прямо срочно важно,
153. 6:52а что, в принципе, на самом деле можно
154. 6:55даже уже смириться и не делать. А опять
155. 6:58же, да, здесь вот там я везде стараюсь
156. 7:00писать варианты, когда это применимо,
157. 7:02для каких-то таких быстрых, лёгких чеков
158. 7:05убедиться, что мы, э, в каких-то
159. 7:07оперативных таких задачах ничего не
160. 7:09потеряли. Дальше есть более сложные
161. 7:12методы. Здесь я чуть-чуть про них
162. 7:14поговорю. Дальше, на самом деле, мы
163. 7:16будем говорить про них поподробней. Э-
164. 7:19некоторые там аналитические,
165. 7:21иерархические такие процессы, когда у
166. 7:23нас есть больше критериев, э, э,
167. 7:27нечёткая логика, два и две с фамилии,
168. 7:30как обычно там полагается всем сложным
169. 7:32научным методом, да, и какие-то более
170. 7:34сложные многокритериальной оптимизации.
171. 7:37Не было бы полным сказать, что методы
172. 7:40ранжирования сущностей э возможны без
173. 7:43имеля. Что в нашем мире, в нашей
174. 7:45современной реальности без имейля
175. 7:47существует? Ничего. Так и здесь. Ээ, вы
176. 7:49можете сказать, если вы работаете
177. 7:51где-нибудь, например, там в поиске, вот
178. 7:52как я долго работал, или в
179. 7:54каком-нибудькоме,
180. 7:55или где-нибудь там в рекламе, где есть
181. 7:58очень большое количество информации,
182. 8:00есть, ээ, э, много данных о каждом
183. 8:04отдельном айтеме, который мы
184. 8:05приоритизируем, и мы имеем возможность
185. 8:07отранжировать для пользователя, не знаю,
186. 8:09там все результаты поиска по всему
187. 8:10интернету или лучший баннер из всех
188. 8:13наших там 100-500 баннеров. А, но мы с
189. 8:17вами сегодня будем больше фокусироваться
190. 8:19на
191. 8:22больше фокусироваться на вот этих вот
192. 8:23первых трёх методах. И про ML не будем
193. 8:26совсем говорить, да? Ну, во-первых,
194. 8:28потому что у нас TL, да, Teamleadf, а не
195. 8:31ML конф. Вот. А, во-вторых, потому что,
196. 8:34э,
197. 8:36то, о чём я буду говорить, те примеры,
198. 8:38которые вам наиболее близки, они, как
199. 8:40правило, не балуют нас количеством
200. 8:43данных, которые можно использовать для
201. 8:45ранжирования айтемов и, э, точностью
202. 8:49оценки вот этих вот критериев, да? То
203. 8:51есть, когда мы говорим, не знаю, там про
204. 8:53мм какие-нибудь ранжирование страниц, у
205. 8:55нас там есть поисковые факторы. Когда мы
206. 8:57говорим про аранжирование оферов
207. 8:58каких-нибудь коммерческих, у нас есть
208. 9:00очень много конкретной, точной
209. 9:01информации про эти оферы. А вот когда мы
210. 9:04говорим о том, что же нам важнее
211. 9:06сделать, ээ, облегчить, не знаю, размер
212. 9:09нашего или облегчить ускорить скорость
213. 9:12выполнения нашего джаваскрипта, или
214. 9:14лучше нам вложиться, не знаю, в welcome
215. 9:17страницу для пользователя или в страницу
216. 9:19это самое удаления аккаунта, да, или
217. 9:22настроек. Вот там уже сильно сложнее ээ
218. 9:25получать достаточное количество вот этой
219. 9:27информации для применения методов. Вот.
220. 9:30И, собственно,
221. 9:32вы тогда у меня спросите: "О'кей,
222. 9:34понятно, почему не имеil? Я вот смотрю
223. 9:36на свои ээ задачи. Конечно же, там
224. 9:39никаким имейлем и не пахнет для того,
225. 9:41чтобы их ранжировать". Но ведь есть
226. 9:43чудесная матрица Эзенхаура, есть
227. 9:45чудесный айс, максимум райс. Этого
228. 9:48должно хватить любому уважающему себя
229. 9:50Тимледу. Да. Вот я вам как минимум хочу
230. 9:54зародить зерно сомнения, да, потому что
231. 9:56обычно реалистичные вещи, когда мы
232. 9:59говорим о чём-то таком большом и
233. 10:00сложном, э не поднимается рука делать
234. 10:04это, ну вот настолько просто, да, вы там
235. 10:07обнаруживаете себя в ситуации, когда у
236. 10:09вас вот в этом правом углу матрицы
237. 10:12Изenhура или в каком там верхнем, в
238. 10:13общем, где самое важное и самое срочное,
239. 10:16что нужно делать, там находится примерно
240. 10:1890% вашего бэклога. И вам это особо
241. 10:21никак не помогает. Вам хочется
242. 10:23использовать дополнительную информацию,
243. 10:24которую вы знаете про айтемы для того,
244. 10:26чтобы их ещё внутри как-то
245. 10:28поранжировать. И как будто бы
246. 10:30действительно, особенно когда мы говорим
247. 10:32о взвешивании там тёплого с мягким, есть
248. 10:35очень много осей, по которым можно
249. 10:37отдавать предпочтение тем или иным
250. 10:39задачам. Вот, поэтому давайте, э, будем
251. 10:42исходить из того, что сложно нам не
252. 10:45подвластно из-за того, что
253. 10:48дляля нету данных. А простое для нас
254. 10:50слишком просто, да, мы уже с вами
255. 10:52опытные темледы и хочется немножко
256. 10:55усложнить. И мы переходим к тому, что,
257. 10:59э, в этом случае хорошо бы придумать
258. 11:01некие критерии для, э, оценки вот этих
259. 11:05вот элементов, а ранжируемых между
260. 11:07собой. И я сейчас буду накидывать вам,
261. 11:09э, вот в этой вот области про выбор
262. 11:11критериев,
263. 11:13то, как это делать, да, как вы можете
264. 11:14это делать в разных предметных областях,
265. 11:17на разных примерах. В целом я
266. 11:19предпочитаю делить все критерии на два
267. 11:23таких основных вида. Это результат и
268. 11:26затраты. Это в целом просматривалось вот
269. 11:29там вот, когда мы говорили про средние
270. 11:30методы ээ ранжирования, да? Ну, то есть
271. 11:33что может быть результатом? то, что мы
272. 11:35заработаем сколько-то денег, то, что мы
273. 11:37какому-то количеству пользователей
274. 11:38принесём какое-то счастье, то, что мы
275. 11:40насколько-то там ускорим наш сайт, то,
276. 11:42что мы на сколько-то процентов избавимся
277. 11:44от технического долга, да, и так далее.
278. 11:46Вот, кстати, да, здесь вот у меня есть
279. 11:49примеры, да, что вот результаты - это
280. 11:51какая-то бизнес-ценность с точки зрения
281. 11:53продуктовой, э, пользы, какая-то, может
282. 11:57быть, стратегическая ценность, да,
283. 11:58например, там мы приблизимся к тому,
284. 12:01чтобы сделать то, что мы хотим. Вот, не
285. 12:03знаю, когда мы в режиме стартапа, у нас
286. 12:05особо нету там каких-то метрик, но у нас
287. 12:07есть какой-то North Star Vision о том,
288. 12:09что мы вообще делаем, какие-то там
289. 12:11конкурентные преимущества мы хотим
290. 12:12достичь. Например, есть качественные
291. 12:14метрики, когда проект уже более зрелый и
292. 12:16у него есть формально измеримые какие-то
293. 12:18показатели. Мы можем улучшать X, снижать
294. 12:21техдолг, как-то каким-то образом там
295. 12:24увеличивать мотивацию команды, которая
296. 12:26задействована на поддержке этого всего.
297. 12:28Есть внешние факторы, репутация,
298. 12:31экосистемность какая-то, да, как мы
299. 12:33вместе играем там с какими-то соседними
300. 12:35сервисами, какие-то партнёрства по
301. 12:37рынку. Вот. А про затраты, если мы будем
302. 12:40говорить, да, в затратах обычно, ну, всё
303. 12:42очень просто. Человека часы, да, те
304. 12:44самые время разработки, которое мы на
305. 12:46это потратим. Есть ещё такая ось затрат,
306. 12:49как сложность реализации. Потому что не
307. 12:52всегда человека часы - это, ну,
308. 12:55исчерпывающая характеристика. У вас
309. 12:56может быть очень много человекачасов, но
310. 12:59не знаю, которые вы можете в
311. 13:01какую-нибудь там толоку отдать на
312. 13:04аутсорс на очень простых исполнителей,
313. 13:06да, в crowдсорс. А есть человекачасы,
314. 13:09которые иначе, чем вашим там CTO или
315. 13:12техм, невозможно вообще выполнить эту
316. 13:15работу. А какое-то количество
317. 13:17необходимых специалистов. То есть иногда
318. 13:19бывают сложностековые задачи, которые
319. 13:22задействуют,
320. 13:23ну, целый ряд, там и бэкндеры,
321. 13:25фронтендеры, дизайнеры, да, одним
322. 13:27специалистам не обойтись. То есть всё
323. 13:29вот это можно отнести к разряду затрат.
324. 13:33Есть ещё операционные риски, ой,
325. 13:35операционные затраты, как то риски в
326. 13:37продукте для пользователей, а какие-то
327. 13:41издержки в последующей поддержке нашего
328. 13:44продукта и нагрузка на нашу
329. 13:46инфраструктуру. Есть история про
330. 13:50продуктовые затраты. Вот мы говорили с
331. 13:52вами про продуктовую ценность, которую
332. 13:54мы можем принести, делая новые какие-то
333. 13:56фичи. Но в то же время есть риски
334. 13:59какие-то, и мы, делая какую-то продуктую
335. 14:01фичу, продуктовую фичу, можем, например,
336. 14:04каннибализировать
337. 14:05какую-то соседнюю свою продуктовую фичу.
338. 14:07Да, не знаю, мы делаем лучшее
339. 14:09ранжирование, из-за этого у нас теряется
340. 14:12трафик там с более нижлежайших элементов
341. 14:15или мы делаем ээ искусственного
342. 14:18интеллекта ответ в верхней части экрана,
343. 14:21из-за чего теряется смысл там
344. 14:23скоролировать, например, выдачу ту же
345. 14:24самого поиска дальше, да? Вот какие-то
346. 14:26такие взаимосвязи между разными частями
347. 14:29вашего продукта тоже могут быть
348. 14:31затратами и жертвами, на которую вы
349. 14:32идёте. Есть история про упущенные
350. 14:34возможности, что просто вот там
351. 14:37открылось окно возможностей в связи, не
352. 14:38знаю, с какой-то конъюнктурой. Мы либо
353. 14:40сейчас делаем это и реализуем это, либо
354. 14:42не делаем, и тогда мы не дополучим
355. 14:44какой-то профит. И есть история про, ну,
356. 14:47какой-то техдолг тоже.
357. 14:49А так ещё про затраты можно сказать про
358. 14:52организационные. Ээ, история про
359. 14:54повышение квалификации сотрудников для
360. 14:57того, чтобы в целом замахнуться на такую
361. 14:58работу. История про сложность
362. 15:00зависимости, что увеличивает риски. И
363. 15:04история про отвлечение вообще команды и
364. 15:07увеличение количества тредов, которые
365. 15:09есть в голове у команды. Это тоже, на
366. 15:12самом деле, может быть, не очень явно,
367. 15:14но роняет общую производительность.
368. 15:17А, итого, да, про как выбрать, что когда
369. 15:21вы посмотрите вот на все вот эти вот
370. 15:23критерии, что же вы можете получить и в
371. 15:26соотношении к затратам будете как-то
372. 15:29пытаться принять решение, э, что я лично
373. 15:32рекомендую там на своём опыте, да,
374. 15:34первое - это то, что не нужно
375. 15:37переупарываться в количество критериев.
376. 15:39Вот у меня там в истории были разные
377. 15:42самые системы приоритизации оценки,
378. 15:44когда у вас не знаю 40 критериев, потому
379. 15:47что вы при исполненный сложностью
380. 15:49продукта насобирали 40 разных айтемов,
381. 15:52которые характеризуют вот каждую новую
382. 15:54задачу. Это не не сильно вам поможет.
383. 15:57Это будет очень сложно в в операционном
384. 15:59управлении и в измерении. Дальше история
385. 16:02про независимость. то, что критерии
386. 16:05должны быть э-э
387. 16:08друг от друга. Что это означает? Что не
388. 16:11должно быть такого, что один критерий
389. 16:13полностью повторяет паттерн другого
390. 16:16критерия. Например, у вас есть
391. 16:17какая-нибудь производительность ээ
392. 16:20вашего интерфейса в целом, да, и,
393. 16:22например, э там, не знаю, вес, размер
394. 16:26страниц или время исполнения на сервере
395. 16:29какого-то кода. Часто эти критерии
396. 16:31достаточно сильно скоррелированы друг с
397. 16:33другом. Или там критерии, те же самые
398. 16:35аудиторные показатели, например, даума
399. 16:38вау, у многих проектов ходят друг за
400. 16:41дружкой, потому что, ну, как бы паттерны
401. 16:43потребления такие, что они повторяют на
402. 16:46циклах более высоких, более длинных друг
403. 16:49друга. А история про измеримость,
404. 16:52критерии такие, которые сложно померить
405. 16:55будет, очень сложно экспертно оценивать.
406. 16:58Вот тоже про это сейчас дальше ещё
407. 17:00немножечко поговорим. А через призму
408. 17:02антипаттернов давайте ещё на это
409. 17:04посмотрим, да, какие есть плохие примеры
410. 17:07критериев, там, чего хорошо бы хорошо бы
411. 17:09избегать. Первое - это то, что
412. 17:13а не надо делать критерии ради
413. 17:16критериев. Если вы делаете какой-то
414. 17:17продукт на, допустим, там, российском
415. 17:20рынке, но вы увидели международный
416. 17:22аналог, в котором есть локализация на 47
417. 17:24языков, то вам критерий количества
418. 17:27языков не очень релевантен. И вообще как
419. 17:30бы не надо на него замахиваться только
420. 17:32потому, что у каких-то именитых
421. 17:33конкурентов он есть. А следующий
422. 17:36антипаттерн - это дублирование. Если вы
423. 17:39хотите сделать пользователем быстро, то
424. 17:42не надо называть это там тремя разными
425. 17:44способами для того, чтобы потом дальше
426. 17:46эти критерии там друг на друга
427. 17:48показывали и опять же шли вот так вот
428. 17:51синхронно друг с другом. А неизмеримые
429. 17:55абстракции, такие как мы будем самыми
430. 17:58лучшими, наш продукт будет самый крутой,
431. 18:00у него будет вауфактор тоже. В целом
432. 18:03иногда можно такое вводить, если у вас
433. 18:06есть понятная стратегия, как вы будете
434. 18:07это измерять, но, ну, уж точно там не
435. 18:10надо делать это несколько раз. И вообще
436. 18:13по возможности лучше свести к чему-то
437. 18:15более такому измеримому.
438. 18:18Вот. Давайте дальше перейдём,
439. 18:19собственно, к вопросу про измеримость.
440. 18:22Вот если вы на каком-то таком понятийном
441. 18:24уровне осознали, что, ну, хорошо, мы в
442. 18:27целом занимаемся тем, что, не знаю, вот
443. 18:30там ускоряем интерфейс или делаем наш
444. 18:32продукт более красивым или заботимся над
445. 18:36тем, чтобы аудитория у нашего продукта
446. 18:38подросла, мы, допустим, вот на и на
447. 18:41каком-то понятийном
448. 18:43на понятийном таком уровне определились
449. 18:46с тем, что будет входить в наши критерии
450. 18:48пользы и затрат. Дальше надо это
451. 18:51оцифровывать. Какие есть тут стратегии?
452. 18:54Первая такая самая простая - это
453. 18:57категори категориальная оценка. Когда вы
454. 19:00говорите: "Ну давайте примерно вот как
455. 19:03майки в магазине развешивают по размерам
456. 19:06или там примерно, э хорошо, плохо, да,
457. 19:09там как светофор, зелёная, красная,
458. 19:11жёлтая". Какую-нибудь изберём такую
459. 19:14шкалу, в которую будет достаточно легко
460. 19:17мапить значение конкретного критерия.
461. 19:20А это хороший способ, на самом деле.
462. 19:23Очень быстро позволяет собрать оценку.
463. 19:25Дальше есть история про то, что можно
464. 19:27взять чуть более сложный такой способ,
465. 19:29да, например, числовой. Вы можете
466. 19:32сказать, что нет, светофор слишком
467. 19:35просто для меня. Хочу, чтобы было пять
468. 19:37звёзд, а лучше 10 звёзд. Пусть, ээ,
469. 19:40значит, эксперт мой говорит про каждый
470. 19:43критерий в какую-то вот такую вот
471. 19:44длинную шкалу. Но тут очень важно
472. 19:46понимать, что не всегда добавление
473. 19:49большой большого диапазона значений
474. 19:52прямо резко увеличивает
475. 19:54ээ вот эту вот разрешающую способность
476. 19:58критерия. Потому что если вы, например,
477. 20:00возьмёте те же самые там 5-10 звёзд на
478. 20:03известных сервисах, то вы увидите, что
479. 20:07большинство пользователей пользуются там
480. 20:10двумя, тремя, максимум четырьмя, потому
481. 20:12что разрешающая способность вообще
482. 20:14человеческого восприятия, она тоже, ну,
483. 20:16не такая уж и широкая. И тут тоже важно
484. 20:20подбирать м такую шкалу, такое
485. 20:23количество вот этих вот диапазон
486. 20:25возможностей, чтобы все из них были
487. 20:27задействованы. Если вы вдруг выбрали
488. 20:30десятизвёздную систему оценки какого-то
489. 20:34критерия, да, не знаю, например,
490. 20:35насколько м там эта фича понравится
491. 20:39нашим будущим пользователям, и вы
492. 20:41пытаетесь вот оценить по десятибалльной
493. 20:43системе, насколько эта фича понравится
494. 20:45нашим будущим пользователям. Но ничего
495. 20:47больше, чем это точно крутая фича, это
496. 20:50так себе фича и это точно отстойная
497. 20:52фича, у вас в голове не всплывает. Ну,
498. 20:53наверное, тогда и не надо вам 10 баллов.
499. 20:55вам достаточно будет взять те же самые
500. 20:57маечки или ещё проще светофор и
501. 20:59оценивать это по меньшему количеству
502. 21:01критериев. Но иногда у вас есть
503. 21:03реально ээ ну какие-то численные
504. 21:06измеримые показатели, и вы можете даже с
505. 21:09большей ещё, ну про это ещё дальше, с
506. 21:11большей ещё точностью поговорить о том,
507. 21:13э там сколько пользователей у нас в
508. 21:15неделю, да? Вы знаете, с точностью до
509. 21:17единиц пользователей это благодаря вашей
510. 21:19статистике.
511. 21:20Так что ещё тут дальше ещё есть история
512. 21:23про интервальные оценки, да? Потому что
513. 21:26тоже поподробнее, чуть побольше
514. 21:28поговорим подальше. Но общая идея такая,
515. 21:31что помимо того, что вы
516. 21:33сказали, например, я думаю, что эта фича
517. 21:36точно зайдёт пользователем, у вас может
518. 21:37быть неуверенность. Вы можете
519. 21:39сомневаться, вы можете думать, она у
520. 21:41меня либо хорошо зайдёт, либо плохо
521. 21:43зайдёт. И вот тогда мы будем
522. 21:45использовать интервальные такие оценки,
523. 21:47когда вы говорите там, в худшем случае
524. 21:50это будет столько, в лучшем случае это
525. 21:51будет столько.
526. 21:53А дальше вот вы поняли, что вы,
527. 21:56например, хотите взять маечки, да, и
528. 21:58хотите или хотите взять звёздочки,
529. 22:00например, вы хотите их дальше превращать
530. 22:02в какие-то чиселки, потому что мы же
531. 22:04хотим дальше всё это подставлять
532. 22:05какую-то формулу и получать конкретное
533. 22:07значение в граммах, что важнее чего. И
534. 22:11превращать вот эти вот майки или звёзды
535. 22:13в числа можно, ну, такими, скажем так,
536. 22:16базово тремя основными способами. Сейчас
537. 22:19будет немножко сложно. У кого с
538. 22:20математикой хорошо?
539. 22:23Не так много людей. Вот. Но для кого
540. 22:25вообще слова
541. 22:28линейная логарифмическая
542. 22:30линейная логарифмическая
543. 22:31экспоненциальная является сложностью?
544. 22:35А не, ну ни для кого, на самом деле,
545. 22:37нормально, да? В общем, линейно это
546. 22:40просто пропорциональное изменения. Мы
547. 22:42таки говорим, вот насколько мы ээ
548. 22:45сделаем лучше, вот каждая следующая
549. 22:47звёздочка, она линейно добавляет нам
550. 22:51качество по этому критерию. Например,
551. 22:53охват пользователей, да? Вот как много
552. 22:56пользователей пришли там на наш сайт или
553. 22:58там, не знаю, отреагировали на какую-то
554. 22:59нашу промо-страницу, это более или менее
555. 23:02линейная функция. Или, например,
556. 23:04бабосики, да? Вот сколько мы там
557. 23:05зарабатываем
558. 23:07в месяц, это более или менее тоже такая
559. 23:09функция достаточно линейная относительно
560. 23:11того, насколько там хорошо каждый
561. 23:13следующий рубль. Опять же зависит, может
562. 23:15быть, там от
563. 23:17ситуации, но более или менее. Есть
564. 23:20история про логарифмическую зависимость.
565. 23:22Логарифмическая зависимость - это когда
566. 23:23вы говорите вот, э, например, время
567. 23:26билда, да? Вот для нас очень важно,
568. 23:29чтобы, э, билд был быстрым, но начиная с
569. 23:32какого-то момента, когда он уже
570. 23:33достаточно быстрый, каждая следующее
571. 23:36улучшение не воспринимается нашим шими
572. 23:37разработчиками как какое-то
573. 23:39драматическое улучшение опыта, да, типа
574. 23:41быстро или очень быстро, это всё
575. 23:44примерно одинаково быстро, а вот типа
576. 23:46медленно и и быстро - это прямо заметно.
577. 23:49Например, какая-нибудь история с
578. 23:50количеством зависимости, которая у вас
579. 23:52есть в проекте, тоже до тех пор, пока их
580. 23:54там типа э нормальное какое-то
581. 23:58количество, ээ это терпимо, как только
582. 24:01их становится очень много, тут,
583. 24:03наверное, на самом деле, да, наоборот,
584. 24:05это больше история про экспоненциальную
585. 24:07зависимость, что как только чего-то
586. 24:10становится много, это начинает быть
587. 24:13очень важно. Вот, например, вероятность
588. 24:16инцидента, да, если у вас вероятность
589. 24:18инцидента относительно низкая, ну, там 5
590. 24:22она процентов или 10 она процентов, вам
591. 24:25не так сильно принципиально. Как только
592. 24:27вероятность инцидента подходит к большим
593. 24:29каким-то значениям, вам становится очень
594. 24:32важно, и это очень критично с точки
595. 24:33зрения аранжирования, что она, ну, вот
596. 24:35такая, и там каждый следующий процент он
597. 24:38будет уже ээ сильно сильно больше сильно
598. 24:42больший вклад оказывать. Что это
599. 24:44означает? Да, то есть как бы как ээ это
600. 24:47использовать для того, чтобы превращать
601. 24:49э оценки в числа? Вы просто мапите как
602. 24:53вот в табличке, что каждая из ваших
603. 24:56звёздочек, она либо линейно прирастает в
604. 24:59своей ценности в общей сумме, либо
605. 25:02логарифмически, либо экспоненциально.
606. 25:05Тут ещё есть один момент, который про
607. 25:07превращение оценок в числа хочется
608. 25:09подсветить, что есть такое особое, э,
609. 25:14особое положение критерия - это
610. 25:17максимальная непредставленность, да, или
611. 25:19максимальная представленность, самые
612. 25:20крайние значения. Иногда бывает такое,
613. 25:23что вот абсолютная непредставленность
614. 25:26критериев, ну, не знаю, на нашем проекте
615. 25:29нету
616. 25:30сейчас что тут есть у меня пару
617. 25:31примеров. на нашем проекте, например,
618. 25:33вообще нет никакого способа заплатить.
619. 25:36Это вот прямо, ну, breakingче change.
620. 25:39Как только у нас появляется хоть
621. 25:40какая-то ээ способность заплатить, у нас
622. 25:43случается такой фазовый переход. Дальше
623. 25:46уже улучшение вот этого опыта платения,
624. 25:50оно там, ну, тоже как-то распределено,
625. 25:52но вот гэп между полным отсутствием
626. 25:54этого критерия и его минимальной
627. 25:56представленностью, он существенный.
628. 25:58Поэтому, возможно, вы захотите в ваших
629. 26:00звёздочках или, ну, маечках сделать так,
630. 26:04чтобы самое левое или самое правое
631. 26:06значение были бы драматически другими,
632. 26:09отличались бы сильно. О'кей, давайте
633. 26:13дальше пойдём. А вот, допустим, вы
634. 26:15поняли, что у нас есть столько-то
635. 26:16критериев, есть такие-то маечки,
636. 26:18такие-то звёздочки. Как же нам их
637. 26:19оценивать? И особенно в случае, когда у
638. 26:22нас нету весов или линейки, да,
639. 26:24сантиметра, которые мы можем приложить и
640. 26:26чётко увидеть числа,
641. 26:28как которые там этот критерий умеют. То
642. 26:30есть там дау, вау, вес ЦСА, понятные
643. 26:33вещи, а как быть с более сложными
644. 26:35вещами? Есть у меня такое расхожее
645. 26:37утверждение, э, коллективное,
646. 26:39интуитивное, экспертное мнение. Да. Ээ,
647. 26:42никто ещё не доказал превосходство
648. 26:43разума перед интуицией, поэтому иногда
649. 26:45вам достаточно, э, удобно и эффективно
650. 26:50будет пользоваться интуитивным
651. 26:52экспертным мнением вот вашего вашей
652. 26:54команды, да, тех людей, которые
653. 26:55вовлечены в процесс экспертов, назовём
654. 26:58это так. И вот, ээ, у этих самых
655. 27:02экспертов, вы можете с ними работать в
656. 27:04индивидуальном формате, можете просто
657. 27:06брать там: "Вася, ты хорошо шаришь за
658. 27:08вот это, оцени, пожалуйста, вот эта
659. 27:10фича, она как бы хороша или плоха". Не
660. 27:12знаю, вот вы нашли, например, у себя
661. 27:14какого-нибудь там без дева, который
662. 27:16репрезентирует определённый пласт
663. 27:18пользователей вашей системы в
664. 27:20корпоративном сегменте. И вы через него,
665. 27:22как через эксперта, спрашиваете: "А
666. 27:24насколько вот это будет круто нашим
667. 27:25потенциальным пользователям?" он вам
668. 27:27даёт какую-то оценку. А часто бывает
669. 27:31подключение дополнительных экспертов для
670. 27:33того, чтобы совершать групповую
671. 27:34калибровку, одна голова хорошо, а две
672. 27:36лучше, увеличивает вообще ээ ну шансы
673. 27:39получить более точную оценку. И здесь
674. 27:41есть несколько способов, сейчас,
675. 27:44по-моему, буду по них про них подробнее
676. 27:45говорить. Про то, что, э, во-первых, как
677. 27:48на Performance Review, да, калибровки
678. 27:50часто избавляют нас от субъективности.
679. 27:53Есть история про покерпланирование,
680. 27:55которое наверняка многие из вас там в
681. 27:57рамках Аджайла используют. Есть история,
682. 27:59например, про триажинг багов, какую-то
683. 28:01приоритизацию вместе с QA и продактом на
684. 28:04тему того, что же на самом деле для
685. 28:06насколько критично. История есть про
686. 28:09калибровку экспертов, что если мы видим,
687. 28:12что наши эксперты не совсем там точны в
688. 28:15оценках, у нас есть, э,
689. 28:18какое-то какие-то способы
690. 28:21регуляции вот этой вот
691. 28:24их отклонения, скажем так, от правильной
692. 28:27или там друг от друга. Сейчас чуть-чуть
693. 28:30поговорим поподробней, да, про разные
694. 28:32методы группового принятия решения.
695. 28:35Первое - это когда вы делаете просто
696. 28:38консенсус без проигравших. Грубо говоря,
697. 28:40мы запираем всех как в 12ти разгневанных
698. 28:43мужчинах в одну комнату. И пока они не
699. 28:45придут к консенсусу и не перестанут
700. 28:49спорить, держим их и не выпускаем. И они
701. 28:51оценивают там, как каждый критерий, в
702. 28:53каких-то чиселках. А есть история про
703. 28:57то, что мы можем делать пририти покер,
704. 29:00мы можем просить, да, примерно как на
705. 29:02известной картине, э, поранжировать
706. 29:06в каких-то, опять же единицах ээ
707. 29:10наш вот эту вот наши вот эти вот
708. 29:11критерии до тех пор, пока эксперты, ну,
709. 29:15что в приоритети покере меняется, это
710. 29:16то, что у них появляется формальный
711. 29:18способ излагать, что и как они считают,
712. 29:22почему они считают, что вот это вот
713. 29:23важнее и насколько Сколько именно
714. 29:25измеримо в чиселках? Есть история про
715. 29:28Delphi метод. Это когда мы говорим про
716. 29:31анонимный сбор конце оценок. И мы не
717. 29:35давлеем над отдельно взятым экспертом э
718. 29:38вот этой вот социальной группой,
719. 29:39например, которая говорит там: "Я
720. 29:42считаю, что должно быть так". И мы
721. 29:44сначала анонимно собираем все оценки,
722. 29:46агрегируем, смотрим и повторяем до тех
723. 29:49пор, пока эксперты не согласятся друг с
724. 29:51другом. Но как бы у них есть,
725. 29:52получается, возможность ээ э не так
726. 29:57открыто выражать своё мнение, да, для
727. 29:59того, чтобы как раз вот избежать вот
728. 30:00этого социального байса.
729. 30:02А пройсы и когнитивные искажения, да,
730. 30:05какие бывают когнитивные искажения такие
731. 30:07базовые и как можно было бы с ними
732. 30:10бороться, когда вы экспертов собираете в
733. 30:12группу. Первое - это якорение. Это
734. 30:14история, когда вы первый критерий
735. 30:17оценивающий или первый человек, который
736. 30:19оценивает, он очень сильно искажает
737. 30:21последующие оценки. Для того, чтобы
738. 30:23этого не случалось, очень легко. Вы
739. 30:25просто рандомизируете, перемешиваете
740. 30:27ну вот то, что идёт по порядку для того,
741. 30:29чтобы сгладить якарение к первому
742. 30:31айтему. Второе - это история про некой
743. 30:35такой избыточный оптимизм, да. Все вы
744. 30:37пытались у разработчиков спросить,
745. 30:39сколько времени займёт там эта фича, и
746. 30:41потом домножали это на число пи, да, или
747. 30:44на число е, в зависимости от того, какая
748. 30:46у вас эта самая школа. Вот. Ээ для того,
749. 30:49чтобы избавиться от этого байса, можно
750. 30:51делать некое референсное планирование,
751. 30:53сравнивать себя с ретроспективно с
752. 30:56реальным полученным результатом и тоже
753. 30:59корректировать сразу избыточный оптимизм
754. 31:01на какой-то коэффициент. А история про
755. 31:04групповое мышление, вот то, что я сказал
756. 31:06в Делфи методе, да, что можно
757. 31:08использовать анонимные оценки для того,
758. 31:10чтобы не было стадного чувства и чтобы у
759. 31:12вас большинство не перевешивало и вы не
760. 31:15выплёскивали бы какие-то ценные сигналы
761. 31:17отдельно взятых экспертов под давлением,
762. 31:20ну, общей группы.
763. 31:23Так, в целом это всё. Давайте двигаться
764. 31:25дальше. А про агрегацию критериев, вот
765. 31:28мы выбрали, какие критерии у нас должны
766. 31:31быть. Мы придумали, как мы их
767. 31:33оцениваем по какой шкале мы придумывали,
768. 31:35как эту мы шкалу превращаем в какие-то
769. 31:37конкретные чиселки. И вот у нас есть,
770. 31:39значит, там семь чиселок про пользу, э,
771. 31:42три чиселки про цену. А что же дальше?
772. 31:45Как нам это собрать в финальный общий
773. 31:47скор? Есть несколько подходов. Опять
774. 31:51расскажу вам про некоторые из них. Самое
775. 31:53простое - это тупо взять ээ сумму всех
776. 31:56критериев. Вот вы получили все чиселки и
777. 31:59возьмём, просуммируем все из них.
778. 32:01А это работающая штука для ситуации,
779. 32:04когда у вас всё более или менее
780. 32:06равномерно, вы заранее озаботились тем,
781. 32:09чтобы критерии мапились в чиселке, ну, в
782. 32:12одном примерно диапазоне. Не знаю,
783. 32:14например, вот там какая-нибудь задача в
784. 32:17духе выбрать день недели для
785. 32:19планирования спринта. Там вы просто
786. 32:22равномерно
787. 32:23используете все
788. 32:25мнения всех членов команды, суммируете
789. 32:28количество голосов, всё у вас прекрасно.
790. 32:30Но, конечно же, как это не совсем, не
791. 32:34совсем это то, что в сложных случаях
792. 32:37можно применять. Следующее, я бы сказал,
793. 32:40наверное, может быть, даже золотая
794. 32:41середина - это когда вы понимаете, что,
795. 32:44о'кей, мы отдельно поработали над
796. 32:47критериями, отдельно у нас есть
797. 32:49эксперты, которые хорошо мапят
798. 32:52конкретные критерии в конкретные
799. 32:53чиселки. А дальше мы на верхнем уровне
800. 32:56придумаем каждому критерию свой
801. 32:57собственный коэффициент. У нас в этом
802. 32:59месяце пользователи нам важнее, чем
803. 33:02технический долг, и мы поменяем
804. 33:04коэффициенты между собой. В следующем
805. 33:06месяце будет что-то другое. И мы не
806. 33:08будем перепроектировать всю систему, мы
807. 33:10не будем перевыдавать экспертам
808. 33:11инструкции по тому, как оценивать там те
809. 33:13или иные айтемы. Мы будем сохранять эту
810. 33:15информацию, но за счёт под подруливания
811. 33:18вот этими вот весами критериев в общей
812. 33:20формуле мы сможем менять систему
813. 33:22приоритизации, да, и менять как бы
814. 33:24фокусы. Например, там выбор нового
815. 33:28Тимледа, да, может состоять из
816. 33:30нескольких там критериев типа скила, его
817. 33:32лидерства и опыта, и нам в зависимости
818. 33:34от там типа команды и типа типа нашей
819. 33:37компании может быть разные вещи с разным
820. 33:39весом важнее.
821. 33:41А дальше есть более сложные ещё способы
822. 33:44агрегации вот этих критериев. Например,
823. 33:47произведение. Произведение даёт нам
824. 33:50очень важное такое, ну, прикольное
825. 33:51свойство о гармоничности, когда мы
826. 33:54говорим, что мы не можем провалиться э
827. 33:58по ни по одному из критериев. То есть
828. 34:00нам суперважно, чтобы все критерии были
829. 34:03гармонично и равномерно представлены. И
830. 34:05тогда не суммирование, а именно
831. 34:08переумножение и использование приоритета
832. 34:11в качестве степени даёт более лучшую
833. 34:14функцию, которая вот аппроксимирует вот
834. 34:16эту вот гармоничность.
835. 34:17А дальше история может быть про
836. 34:20использование логарифмической агрегации.
837. 34:22Логарифмическая агрегация, помните, да?
838. 34:24Вот мы критерии сами могли намапить тоже
839. 34:26с помощью логарифма, а дальше мы ещё
840. 34:29сами критерии комбинировать между собой
841. 34:31можем с помощью произведения ээ точнее
842. 34:34суммы логарифмов для того, чтобы э самые
843. 34:38высокие значения каких-то показателей.
844. 34:41Вот, не знаю, вы, например, выбираете
845. 34:42облачного провайдера, у него есть
846. 34:44скорость ээ там или производительность
847. 34:47его сетевой инфраструктуры, есть её
848. 34:49доступность и есть её цена. И, например,
849. 34:51какой-нибудь супердешёвый провайдер или,
850. 34:53наоборот, супер хороший провайдер с
851. 34:55хорошей доступностью, но с очень большой
852. 34:56ценой, за счёт вот этого большого, очень
853. 34:59сильно отличающегося от других критерия,
854. 35:01может сильно неравномерно перевесить.
855. 35:04Для того, чтобы этого не случилось,
856. 35:05используем логарифмическую сумму. А так,
857. 35:09давайте ускоряться. Значит, есть
858. 35:12история про противоречивые критерии, что
859. 35:15мы можем брать кучу разных критериев и
860. 35:18просто акцентироваться на том, насколько
861. 35:21хорошо удовлетворяется по самому слабому
862. 35:25звену, да, когда мы говорим, что вот,
863. 35:28ээ, цепь рвётся там, где тоньше всего, и
864. 35:31тот кандидат, та задача, которая не
865. 35:34удовлетворяет ээ какому-то базовому
866. 35:37минимуму, она для нас является, ну,
867. 35:39неприемлемой. А наоборот, самой
868. 35:40приемлемоя является та, которая
869. 35:42равномерно удовлетворяет всем нашим
870. 35:44целям и ограничениям.
871. 35:47А так про попарные сравнения,
872. 35:51а интересная часть. А можно смотреть на
873. 35:55критерии с позиции того, насколько чаще
874. 36:00и сильнее отдельно взятые критерии
875. 36:03превосходят другие варианты. Например,
876. 36:06давайте посмотрим на примере. Вот вы
877. 36:08оптимизируете скорость ваших
878. 36:10SQL-запросов. У вас есть то, как долго
879. 36:12они исполняются, только как много они
880. 36:14сожрали железа на это, и то, как дорого
881. 36:17натягивать голову разработчика, мозг
882. 36:19разработчика на сложность этого
883. 36:21SQL-запроса. И вы берёте и сравниваете
884. 36:23попарно вот эти критерии между собой. Вы
885. 36:26говорите, что скорость для нас, ну,
886. 36:29примерно в два раза важнее, чем железо,
887. 36:32а, ээ, скорость
888. 36:34в отношении к поддержке ещё сильнее,
889. 36:37важнее. То есть мы готовы заплатить
890. 36:39сложностью восприятия для разработчиков,
891. 36:41если для наших пользователей будет
892. 36:43лучше. Итого, то есть вот эти вот парные
893. 36:45сравнения, они помогают вам лучше
894. 36:47подобрать вот эти вот W коэффициенты, с
895. 36:50помощью которых вы будете комбинировать
896. 36:52критерии между собой. И таким образом вы
897. 36:54можете посчитать, что о'кей, тогда,
898. 36:57значит, у нас у скорости будет 60% веса,
899. 37:00да, у ресурсов 25, у поддержки 15.
900. 37:04А давайте про многокриториальную
901. 37:05оптимизацию скипнём. Э, если захотите,
902. 37:08почитайте слайды, но общая идея, что
903. 37:11есть ещё более сложные верхнеуровневые,
904. 37:14э-э, предметные области, когда мы
905. 37:17сравниваем тёплое с мягким. И там есть
906. 37:20тоже несколько методов, которые
907. 37:21позволяют мм провести эту оценку, да,
908. 37:24будет вам домашняя работа. дам ссылку на
909. 37:28слайды. А,
910. 37:32но я думаю, что вот в диапазоне того,
911. 37:34что мы рассмотрели, среднюю вот эту вот
912. 37:37золотую середину - это то, чего должно
913. 37:38быть достаточно любому продвинутому
914. 37:40тимледу.
915. 37:42Про обработку неопределённости.
916. 37:45Мм, как уже говорили, иногда может
917. 37:47возникнуть ситуация, что наши эксперты
918. 37:49очень сильно по-разному оценивают там
919. 37:51пользу или вероятность наступления того
920. 37:53или иного события. И тогда мы используем
921. 37:56простую штуку. Мы берём, спрашиваем у
922. 37:59них, насколько самый оптимистичный
923. 38:01вариант оценивают они, насколько самый
924. 38:04пессимистичный вариант они оценивают. И
925. 38:06есть формула, которая позволяет
926. 38:08посчитать по ширине вот этого интервала
927. 38:12среднее его значение. Есть в этой
928. 38:14формуле один коэффициент, который
929. 38:16говорит о том, насколько мы штрафуем
930. 38:20широкие оценки, да? То есть, если у нас
931. 38:23какой-то критерий обладает вот очень
932. 38:25широкой оценкой, либо ничего не
933. 38:26получится, либо мы будем суперкороли,
934. 38:29ээ, вот в зависимости от того, какие у
935. 38:32вас, э, какие у вас, ээ, данные, точнее,
936. 38:37какая у вас специфика оцениваемых задач,
937. 38:40вы можете использовать разные разные
938. 38:43коэффициенты. Например, если вы в
939. 38:46исследовательской области какой-то и у
940. 38:48вас очень, ну, много неопределённости, и
941. 38:51в целом это нормально, вы можете
942. 38:53использовать этот коэффициент достаточно
943. 38:55маленьким, не сильно наказывать в
944. 38:57ситуацию, когда широкий диапазон оценки.
945. 39:00Если у вас, например, какие-то критичные
946. 39:02задачи, вам срочно нужно там, не знаю,
947. 39:03как-то разбирать инциденты или принимать
948. 39:05какие-то решения о деньгах или ещё
949. 39:07что-то такое, вы можете наоборот жёстче
950. 39:09наказывать за
951. 39:11большое расхождение в вот этих вот
952. 39:14критериях оценки.
953. 39:16Опять же, формулу можно посмотреть. Моя
954. 39:18задача вам скорее зародить всемя
955. 39:21сомнения о том, что стоит подумать про
956. 39:24некоторые критерии в таком ключе.
957. 39:27Давайте ещё быстро пройдём. Не настолько
958. 39:29быстро. Про, э-э, валидацию.
959. 39:33Нет, нет, нет, назад, назад, назад. Про
960. 39:39залипает.
961. 39:44Давайте. А можно
962. 39:48отмотать?
963. 39:50Нет, это это назад совсем. Спойлеры.
964. 40:00Да, про валидацию и калибровку. Вот вы
965. 40:02приняли какое-то решение, потратили там
966. 40:05неделю, другую, третью на то, чтобы вот
967. 40:07эти все критерии сформулировать, и
968. 40:09дальше вы хотите в по-хорошему в
969. 40:12динамике подтюнивать, а точно ли у вас
970. 40:15всё получилось и точно ли ваша система,
971. 40:17которую вы приняли, работает хорошо. Ещё
972. 40:20пещерные люди нам сказали принцип о том,
973. 40:22что лучше семь раз померить и один раз
974. 40:24отрезать. И поэтому мы смотрим на
975. 40:27ретроспективную валидацию. Мы смотрим
976. 40:29сравнение наших прогнозов с фактами. Мы
977. 40:32смотрим на то, как наши веса исторически
978. 40:36совпадают с тем, что случается. Мы можем
979. 40:38проводить атестирование каких-то наших
980. 40:40решений. Если у нас есть такая
981. 40:42возможность, да, мы даём нескольким
982. 40:43командам делать там похожие вещи и
983. 40:46сравниваем как-то что-то параллельно, мы
984. 40:49можем смотреть на такие индикаторы
985. 40:51качества, как процент попадания в богом
986. 40:54данные нам или там, не знаю, топами
987. 40:56данными нам, приоритетами какими-то
988. 40:59центральными. Мы можем смотреть на
989. 41:02корреляцию того, насколько мы по нашим
990. 41:05главным метрикам продвинулись, используя
991. 41:07такую-то систему принятия решения. Есть
992. 41:10история про адаптивную настройку и о
993. 41:13том, что всегда имеет смысл посмотреть
994. 41:16как-то шире по сторонам на какие-то
995. 41:17альтернативные варианты. И здесь
996. 41:21что хотелось подсветить, что вот просто
997. 41:22обычный регулярный опрос команды по там
998. 41:26четырьмя четырём ээ вопросам о
999. 41:29справедливости, прозрачности и
1000. 41:31актуальности и эффективности критериев
1001. 41:34может дать вам сигнал о том, что хорошо
1002. 41:36бы пересмотреть или там какие-то
1003. 41:39критерии подтюнить на основании вот
1004. 41:41этого фидбэка. Вот. И цикл эволюции
1005. 41:45методов, да, можно посмотреть так, что
1006. 41:47вы смотрите от простого к сложному по
1007. 41:50мере того, как растёт ваша команда и по
1008. 41:53мере того, как появляются какие-то, ну,
1009. 41:55дисбалансные ситуации, большое
1010. 41:57количество разных критериев.
1011. 42:00Про внедрение на практике. Вот это то,
1012. 42:03что я говорил про этапы развития
1013. 42:04команды, да, что в стартапе всё можно
1014. 42:07делать по простым методам. В крупной
1015. 42:10компании, где большие, многокомпонентные
1016. 42:12сложные балансировки вот этих вот
1017. 42:14приоритетов, можно использовать более
1018. 42:16сложные методы. В целом, это же
1019. 42:19справедливо. И если вы смотрите на
1020. 42:22задачи разного типа, например,
1021. 42:24продуктовые фичики-нибудь
1022. 42:27сложные исследования рендишные, тоже
1023. 42:29можно делать с помощью разных базовых
1024. 42:32этих методов
1025. 42:34по степени неопределённости в
1026. 42:36зависимости от того, насколько ээ у вас
1027. 42:39вообще предметная область со
1028. 42:41способностью что-то точно определить и
1029. 42:44померить. и по критичности вашего
1030. 42:46решения, опять же, насколько дорого вам
1031. 42:49будет стоить эта ошибка.
1032. 42:52Так, ещё есть пара таблиц, но давайте мы
1033. 42:56их тоже скипнём.
1034. 42:58Перейдём,
1035. 43:01да, к поэтапному внедрению и к
1036. 43:05инструментарию, что в целом всё то, что
1037. 43:08о чём я рассказываю - это
1038. 43:09методологические такие вещи. Вы их
1039. 43:11можете использовать в самом, ну, разном,
1040. 43:15в самых разных инструментах. Это могут
1041. 43:17быть Excel-шаблоны, это может быть
1042. 43:19простой какой-то онлайн-калькулятор,
1043. 43:21который вы там для себя напишите. Можно
1044. 43:23использовать интеграцию с какими-нибудь
1045. 43:25системами типа Яндекст-трекера, где вы
1046. 43:27будете в дополнительные поля скидывать
1047. 43:29ваши критерии и потом иметь формулу,
1048. 43:32которая посчитает общий приоритет. Ну и
1049. 43:34самое хорошее, конечно же, - это Ии.
1050. 43:36Нынче ничего невозможно без ИИ. Если вы
1051. 43:38возьмёте совершенно любую модель, там,
1052. 43:41ну, вплоть до, э, нашего же там source
1053. 43:44код assistнта и напишите критерии и
1054. 43:46скажете: "Хочу придумать какое-то
1055. 43:49количество", точнее, вы напишите задачи,
1056. 43:51там, айтемы, которые вы хотите
1057. 43:53ранжировать, и спросите: "Хочу придумать
1058. 43:55критерии, по которым я буду это
1059. 43:56аранжировать", то, ээ, ну, там
1060. 43:59современные маломальские сложные модели,
1061. 44:02умные модели хорошо справляются с этим.
1062. 44:05Вот последний слайд, который хотелось
1063. 44:07вам обязательно сказать про измерение
1064. 44:09Рои. Да, вы можете сказать, что вот
1065. 44:11хорошо, мы потратили кучу времени на то,
1066. 44:12чтобы заняться вот этим вот
1067. 44:15приоритизацией. И м как это, насколько
1068. 44:18же это было полезно, да? Можем ли мы
1069. 44:20как-то померить, принесло ли оно нам
1070. 44:23какую-то пользу или нет. Мой совет
1071. 44:26совпадает с мнением Гендальфа Серова о
1072. 44:29том, что иногда лучше даже не
1073. 44:32ввязываться в какую-то деятельность,
1074. 44:35потому что, как правило, у всех этих
1075. 44:38вещей очень невысокая статистическая
1076. 44:41значимость, и очень сложно их
1077. 44:43действительно честно и адекватно
1078. 44:45измерить в терминах вот принесённого
1079. 44:48value. Поэтому я бы предложил вам, ну,
1080. 44:51больше использовать это для, ну,
1081. 44:53полемики внутри и именно внутренней веры
1082. 44:55всех участников процесса, от топов до
1083. 44:58исполнителей, а не как что-то типа прямо
1084. 45:01математически строгое, что вы сможете
1085. 45:03померить прямо в деньгах, да. Скорее
1086. 45:06всего, ну, не знаю, вот там у меня очень
1087. 45:08были большие там системы с большим
1088. 45:10количеством критериев, и мало где было
1089. 45:14возможно сделать честное измерение Рои.
1090. 45:16Но, ээ, это нормально. На самом деле так
1091. 45:19у нас много где происходит, и ничего
1092. 45:22такого страшного не случилось. Вот
1093. 45:24поэтому это вам тоже как это всё равно
1094. 45:27задумываться об этом даже в таких
1095. 45:29терминах без чёткого измерения рои
1096. 45:32поможет вам в п в планировании и в
1097. 45:34приоритизации, да, как известно. Как это
1098. 45:36планирование, план ничто, планирование
1099. 45:39всё, всё. Сорри за небольшую сумбурность
1100. 45:42в конце, но у есть
1101. 45:45мои телеграммы всевозможные. Здесь же
1102. 45:48есть слайды, можно посмотреть, как
1103. 45:50писать слайды с помощью и
1104. 45:53да, у нас есть время на пару вопросов
1105. 45:55для того, чтобы я мог кому-то приступить
1106. 45:56под
1107. 45:57>> Нет, это матрёшечка, тебе огромное
1108. 45:59спасибо, да, за такой прямо очень
1109. 46:02обширный, подробный доклад, что даже
1110. 46:04вообще его и на полтора часа можно было
1111. 46:06бы расказывать. Можно было бы дольше.
1112. 46:08Это правда.
1113. 46:09>> Я думаю, что у нас вопрос, если ответы
1114. 46:12будут полные, будет один или максимум
1115. 46:15два. Выбирай первый, чтобы если мы не
1116. 46:18успеем второй, отдали матрёшку.
1117. 46:19>> Хорошо. Вот молодой человек во втором
1118. 46:21ряду давно тянет руку, ещё до того, как
1119. 46:23я закончил, поэтому давайте ему дадим.
1120. 46:26Спасибо огромное, потрясающий доклад. А
1121. 46:29правильно ли я понял, да? Ну, исходя из
1122. 46:31того, что тяжело посчитать выгоду, да,
1123. 46:34то вот
1124. 46:37переход на более сложные способы
1125. 46:39приоритизации нужны для того, чтобы всем
1126. 46:42людям казалось, что выбор сделан более
1127. 46:46объективным. [смех] Да, это хорошая
1128. 46:48формулировка. Я я ну правильно ты
1129. 46:51говоришь, во многом это история про ээ
1130. 46:54ну самоуспокоение, да, и про то, что ну
1131. 46:57мы же не можем, у нас не поднимается
1132. 46:59рука по-другому, да, или какой-то
1133. 47:01нарратив для тех же самых инвесторов или
1134. 47:03топ-менеджеров. То есть, ну не знаю,
1135. 47:06это, в общем, у меня текущая моя такая
1136. 47:08стадия восприятия мира, что это во
1137. 47:09многом история пруда, самоуспокоение, но
1138. 47:13это тоже хорошо. Ну, в смысле, что
1139. 47:14система, которая позволяет тебе складно
1140. 47:17изложить то, во что поверит большая
1141. 47:20часть участников процесса, но это
1142. 47:23полезно само.
1143. 47:23>> Ну, все верят в общую цель, да, понятно.
1144. 47:26>> Спасибо.
1145. 47:27>> Второй успеем? Давай. Минута есть.
1146. 47:29>> Очень быстро, прямо очень блиц.
1147. 47:31>> Очень быстро.
1148. 47:32>> Да, спасибо, Серёг, большое за доклад. Я
1149. 47:34Меня зовут Паша, я тоже из Яндекса. У
1150. 47:36меня такой чуть-чуть двойной вопрос, а,
1151. 47:38но я попробую его сформулировать в один.
1152. 47:40Я пока слушал твой доклад про систему
1153. 47:42вот сравнивания, взвешивания каких-то
1154. 47:43приоритет, ну, критериев к оценке, а
1155. 47:46задумался о том, то что это применимо
1156. 47:48там не только к проектам, сервисам там,
1157. 47:49ну, и в целом это можно там использовать
1158. 47:51для оценки, например, людей. Вот. И я
1159. 47:53задумался о том, а насколько мы хотим
1160. 47:55делать метод оценки того или иного
1161. 47:58проекта публичным, насколько там вес
1162. 48:00каждого там вот этой вершины, ну, это
1163. 48:02можно в виде графа представить. Вот
1164. 48:03насколько там рёбра, веса на рёбрах
1165. 48:05графов должны быть там публичными,
1166. 48:07потому что эти цифры могут быть
1167. 48:08использованы.
1168. 48:09>> Хороший вопрос. Хороший вопрос. А,
1169. 48:11смотри, зависит от того, что ты хочешь
1170. 48:13добиться этой публичности. Если
1171. 48:16увеличение степени публичности помешает
1172. 48:19тебе и создаст больше вопросов, чем
1173. 48:21ответов, как, например, в случае с
1174. 48:24Performance Review, где многие участники
1175. 48:27Performance Review, ну, не могут
1176. 48:29полностью погрузиться в эту предметную
1177. 48:31область, у них просто нету, ну, как бы
1178. 48:33компетенции или нужного ракурса зрения,
1179. 48:36информированности для принятия этого
1180. 48:37решения. Там я бы это не рекомендовал
1181. 48:39делать. В системах, когда мы, например,
1182. 48:41всей команде рассказываем, почему и
1183. 48:42какие там у нас продуктовые приоритеты,
1184. 48:45такое опубличивание скорее полезно.