По мере того, как алгоритмы становятся компетентнее людей, возникают интересные этические проблемы. С одной стороны, люди любят контроль: все правила интерфейсов человек-машина говорят, как важно системе показывать, что происходит прямо сейчас и какой выбор есть у человека. С другой стороны, алгоритм может знать гораздо больше – в том числе и о том, что на самом деле человеку нужно. Но доверяться бездушной машине не особенно приятно и временами даже страшно. Люди куда охотнее доверяют другим людям или тому, что выглядит, как люди – вроде редакционного мнения, телепрограммы или агрегированных отзывов-рейтингов. Но больше всего они, конечно же, доверяют себе.

Поэтому контроль придется имитировать – оставлять человеку детали, частности, очевидные случаи, которые подвластны несовершенному мозгу. Техник иллюзии можно придумать много, чем сложнее сервис, тем легче это организовать. Машина может делать вид, что ты ее ведешь, пока водитель не делает ничего неправильного (роботов в любом случае придется защищать от людей). Фейсбук может пару дней делать вид, что принял к сведению ваше желание подписаться на что-то или видеть меньше чего-то, но затем начнет выводить ленту все равно так, как вам будет интереснее и комфортнее. Иногда уместно сужать пространство выбора, оставляя человеку выбор между хорошим и очень хорошим (или между очевидно хорошим и очевидно плохим, если правилен только один ответ). Мир станет напоминать компьютерную игру, где оставлены только интересные варианты выбора и нельзя сделать ничего непоправимого (интересно, что игры последние годы как раз уходят в обратную сторону). А люди в итоге могут стать не столько исполнителями, сколько менеджерами своей судьбы – начальниками над роботами, выбирающими направления и искренне считающими, что именно их вклад в результат наиболее ценен.