7 ноя в 00:46 (OFF) aladdin1 (S) :

Роботы-убийцы? Остановитесь, даже хорошие роботы непредсказуемы до ужаса(с сайта Ордена Иллюминатов)

Руководители более сотни ведущих мировых компаний в области искусственного интеллекта очень обеспокоены развитием «роботов-убийц». В открытом письме ООН эти бизнес-лидеры, включая Илона Маска из Tesla и основателей гугловской DeepMind – предупредили, что использование технологий автономного оружия может быть принято террористами и деспотами, либо в той или иной степени подвергнется взлому.

Но реальная угроза намного серьезнее – и дело не только в человеческих проступках, но и в машинных. Исследование сложных систем показывает, что они могут вести себя гораздо более непредсказуемо, чем можно сделать вывод из суммы отдельных действий. С одной стороны это означает, что человеческое общество может вести себя совершенно по-другому, чем вы могли ожидать, изучая поведение индивидов. С другой стороны, это применимо и к технологиям. Даже экосистемы простых программ искусственного интеллекта – которые мы называем тупыми, хорошими ботами – могут удивлять нас. Даже отдельные боты могут вести себя кошмарно.

Отдельные элементы, составляющие сложные системы, такие как экономические рынки или глобальную погоду, имеют тенденцию не взаимодействовать простым линейным способом. Это делает эти системы очень трудными для моделирования и понимания. Например, даже после многолетних исследований климата невозможно спрогнозировать долгосрочное поведение погоды. Эти системы настолько чувствительны к мельчайшим изменениям, насколько взрывоопасно на них реагируют. Очень сложно узнать точное состояние такой системы в отдельно взятый момент. Все это делает эти системы внутренне непредсказуемыми.

Все эти принципы применимы к большим группам людей, действующим по-своему, будь то человеческие общества или группы ботов с искусственным интеллектом. Недавно ученые изучали один из типов сложной системы, в которой хорошие боты использовались для автоматического редактирования статей на Википедии. Эти самые разные боты разработаны, написаны и используются доверенными редакторами Википедии, а их базовое программное обеспечение с открытым исходным кодом и доступно для всех. По отдельности они имеют общую цель – улучшать энциклопедию. Однако их коллективное поведение оказалось на удивление неэффективным.

В основе работы этих ботов с Википедии лежат хорошо установленные правила и условности, но поскольку у веб-сайта нет центральной системы управления, нет и эффективной координации между людьми, управляющими разными ботами. В результаты обнаружились пары ботов, которые несколько лет отменяли правки друг друга и никто не замечал. И, конечно, поскольку эти боты никак не учатся, они тоже не заметили.

Эти боты предназначены для ускорения процесса редактирования. Но небольшие различия в дизайне ботов или между людьми, которые их используют, могут привести к массовой трате ресурсов в продолжающейся «войне за редактирование», которая была бы разрешена гораздо быстрее с помощью редакторов.

Исследователи также обнаружили, что боты вели себя по-разному в разных языковых версиях Википедии. Правила, казалось бы, практически одинаковы, цели идентичны, технологии похожи. Но в немецкоязычной Википедии сотрудничество ботов было намного более эффективным и продуктивным, чем, например, в португальской. Это можно объяснить только различиями между редакторами-людьми, которые руководили этими ботами в разных средах.

Экспоненциальная путаница

Боты с Википедии не обладают широкой автономией и система уже работает не в соответствии с целями отдельных ботов. Но Wikimedia Foundation планирует использовать ИИ, которые будут давать больше автономии этим ботам. И это, вероятнее всего, приведет к еще более непредсказуемому поведению.

Хороший пример того, что может случиться, продемонстрировали боты, созданные для разговоров с людьми, когда их заставили общаться между собой. Мы уже не удивляемся ответам персональных ассистентов вроде Siri. Но заставьте их общаться между собой и они быстро начнут вести себя неожиданным образом, спорить и даже оскорблять друг друга.


Чем больше становится система и чем более автономным становится каждый бот, тем более сложным и непредсказуемым будет будущее поведение этой системы. Википедия – это пример работы большого числа относительно простых ботов. Пример с чат-ботами – это пример небольшого числа относительно сложных и изобретательных ботов – в обеих случаях возникают непредвиденные конфликты. Сложность и, следовательно, непредсказуемость растут экспоненциально по мере добавления в систему индивидуальности. Поэтому, когда в будущем появятся системы с большим количеством очень сложных роботов, непредсказуемость их выйдет за пределы нашего воображения.

Полыхающее безумие

Самоуправляемы автомобили, например, обещают осуществить прорыв в эффективности и безопасности дорожного движения. Но мы еще не знаем, что произойдет, когда у нас будет большая дикая система полностью автономных автомобилей. Они могут вести себя по-разному даже в пределах небольшого флота индивидуальных автомобилей в контролируемой среде. И еще более непредсказуемое поведение может проявиться, когда самоуправляемые автомобили, «обученные» разными людьми в разных местах, начнут взаимодействовать между собой.

Люди могут адаптироваться к новым правилам и соглашениям относительно быстро, но при этом с трудом переключаются между системами. Искусственным агентам может быть еще сложнее. Например, если «обученный в Германии» автомобиль поедет, например, в Италию, мы не знаем, как он освоит неписаные культурные соглашения, которым следуют многие другие «обученные в Италии» автомобили. Нечто обыденное вроде пересечения перекрестка может стать смертельно рискованным, потому что мы просто не знаем, будут ли машины взаимодействовать, как положено, либо начнут вести себя непредсказуемо.

А теперь подумайте о роботах-убийцах, которые беспокоят Маска и его коллег. Один робот-убийца может быть очень опасен не в тех руках. А система непредсказуемых роботов-убийц? Думайте сами.
197 0 6 0

Комментарии (27)

Да это можно сказать факт будущего. Терминатор. Подобие близкое. Не такая уж и фантастика уже. Пока ещё чуть-чуть фантастика, но самую капельку.
К этому всё и идёт. Предыдущие цивилизации и погибли из-за искусственного интеллекта
-1
это да,система всегда будет давать сбои ,а уж как боевики талибан (в афганистане) перехватывали изображение с дрона ,путем простейшей программки(ценой в 300рэ) ,кстати ,написана русским программистом ,и управление могли перехватывать ,могли "уронить" боекомплект с дрона ,короче безобразили ...америкосы уже которое поколение борются с этим энтропийным воздействием,но "воз" и нынче там ,особых успехов нет ..хотя и первые поколения дронов переданы полиции,либо проданы в третьи страны ,как вариант ,теперь сами америкосы смотрят где и как летают их "птички" ,особенно в этом замечен пресловутый Ф35 ..он открыто пересылает все данные в америку,норвежцы пожаловались ,на пересылку данных,дорогие обновления ПО ,и низкую готовность самолётов ,да и дороговизна сервиса самолета ,все операции производят в америке ,сервисное обслуживание стелспокрытия вообще делает один завод ,и тот естественно находится в америке ,и они весьма опасаются хакерских атак на ПО самолёта ,если уж школяр взломал почту директора цру )),то самолёт наверняка расколят ,если уже не коланули ))...уже был прецедент с кораблем ВМС америки ,в бортовом ПО корабля появился некий вирус ,вывел из строя полностью всё оборудование ,длительная проверка систем ничего не дала ,и кораблик увели в отстойник ,вернули готовность примерно на 80% ,и сильно сомневаются в возможностях корабля ,затем скандал замяли ,и все обсуждения закрыли .
Чего они переживают? Человечество и так уже достаточно пожило
Это уж точно
нынче террористам даже не обязательно иметь горы оружия ,достаточно клавиатуру ,и выход в интернет ..те же америкосы уже на своей инфраструктуре поняли эффективность таких атак ,хотя как вариант,они сами (цру) могли это устроить ,дабы им обеспечили жырный кусок бюджета на эти цели ,и безграничную власть в этой сфере ...у них и так есть право финансирования в обход конгресса,сената ,вообще не ставить в известность правительство о своих тратах на ряд направлений ..удобно ,бабло слил ,а куда...зачееем ,на нужды обороны типа ))).
Да, боевикам щас открыты все дороги..
единственный вопрос ,кто эти боевики ,и кто определяет ,что это боевики ,а это уже нет ..у америкосов нацпацыки свои хорошо ,хотя фрицы морщат нос при их появлении,а пшеки дубасят нацпацыков заставляют их давиться своими флажками .
Боевик вот он, дембель дед
это клоун какойта
Показать комментарий
Скрыть комментарий
Назад 1 из 3 Вперёд
1 2 3
Для добавления комментариев необходимо авторизоваться
Моя Ферма
Сотни растений и животных, множество интересных...
Версия: Mobile | Lite | Touch | Доступно в Google Play