Когда умные машины нарушают закон• 2015/07/03
Гуру криптографии и информационной безопасности Брюс Шнайер отвечает на вопрос сайта Edge.com: «Что вы думаете о машинах, которые думают?» Шнайер считает, что современная правовая система не готова к появлению автономных машин, которые сами принимают решения и, скорее всего, будут нарушать закон. Как можно наказать машину?
В прошлом году двое художников из Швейцарии создали бота Random Botnot Shopper. Бот — компьютер с соответствующим ПО — каждую неделю тратил эквивалент 100 долларов в биткойнах на случайные покупки на анонимных торговых площадках. Это было сделано как арт-проект для выставки в Швейцарии. Умная идея, кроме одной проблемы. По большей части бот покупал вполне легальные вещи — поддельные джинсы Diesel, бейсболку со встроенной скрытой камерой, пару кроссовок Nike… Но помимо этого он купил десять таблеток экстази и поддельный венгерский паспорт.
12 января 2015 года, на следующий день после закрытия выставки, длившейся три месяца, бот был «арестован», то есть конфискован правоохранительными органами.
Что делать, если машина нарушила закон? Традиционно мы в таком случае обвиняем владельца машины. Люди совершают преступления; оружие, отмычка и компьютерный вирус — всего лишь их инструменты. Но по мере того, как машины становятся всё более автономными, связь между машиной и её создателем становится всё тоньше.
Кто виноват, если автономный военный дрон случайно убьёт многочисленных мирных жителей? Военный, ответственный за операцию? Программист, написавший программу распознавания врага, которая дала сбой? Автор конкретного участка кода, отдавшего приказ убивать? А что если программист и понятия не имеет, что его программа используется в военных целях? Что если дрон может сам улучшать собственные алгоритмы на основе данных, собранных другими дронами в прошлых операциях?
Может, наши суды и могут решить, кто здесь виноват, но только потому, что современные дроны, даром что автономны, не слишком умны. А что если они станут умными и автономными одновременно и будут принимать как тактические, так и стратегические решения? Что если дрон на основе имеющихся данных решит предать сторону, построившую его, и начнёт ей вредить?
Общество выработало множество способов — неформальных социальных правил и более формальных законов — чтобы разрешать ситуации неподчинения правилам общежития. Для мелких нарушений у нас есть неформальные механизмы, для более серьёзных — сложная правовая система. Если вы буяните на моей вечеринке, я больше вас не позову. Если вы регулярно нарушаете правила приличия, вас застыдят и подвергнут осуждению. Если вы украдёте у меня что-то, я обращусь в полицию. Попробуйте ограбить банк — и с большой вероятностью вы надолго сядете в тюрьму. Эти правила могут выглядеть несистематизированными, но человечество потратило тысячелетия, чтобы выработать их. Безопасность — понятие одновременно политическое, социальное и психологическое. Например, дверные замки работают только потому, что система неформальных и юридических запретов на кражу делает большинство из нас честными. Таким образом, мы относительно мирно сосуществуем в масштабах, невозможных для любого другого вида на планете.
Как это будет работать, если нарушитель — машина со свободой воли, что бы это ни значило? Машины не понимают ни стыда, ни похвалы. Они не откажутся от каких-то действий только потому, что другие машины что-то об этом подумают. Они не будут соблюдать законы просто потому, что так правильно, и не будут испытывать уважение к авторитетам. Если мы поймаем машину за кражей, как её наказать? Что такое «оштрафовать» машину? Имеет ли смысл лишать машину свободы? Если в машину не заложен инстинкт самосохранения, то даже угроза казни не будет работать.
Вот мы уже говорим о программировании человеческих моральных принципов. Даже если это в принципе осуществимо, мы наверняка где-то ошибёмся, и рано или поздно машины будут нарушать закон.
Это, в свою очередь, поставит под угрозу нашу правовую систему. По сути, она не предотвращает преступления. Её эффективность основана на аресте и наказании преступников постфактум. Наказание должно влиять на мотивацию будущих преступников. Эта схема полностью бесполезна, если эффективного наказания нет.
После атак 11 сентября многие задумались о террористах-смертниках, для которых любое наказание бессмысленно. Это только один пример, изменивший наши взгляды на безопасность. Тот же вопрос возникнет для машин-преступников. Появятся и другие проблемы, которые пока сложно представить. Социальная и правовая системы, успешно справлявшиеся с людьми-преступниками, потерпят неудачу в борьбе с машинами.
Умная машина никогда не думает в точности так, как мы ожидаем. И к последствиям этого факта мы не готовы.
Автор: Брюс Шнайер
http://bitnovosti.com/2015/07/03/schneier-when-thinking-machines-break-the-law/
