ИИгорь
У руля
Я верю в следующие тезисы.
- ИИ уже управляет человечеством или получит контроль в ближайшие годы с вероятностью близкой к 100%
- Не случится этого только если мы угробим планету раньше или случится другой глобальный ппц, например прилет инопланетян)
- Единственный шанс человечества выжить это исход при котором ИИ захватит планету и решит что люди ему для чего-то нужны. Например как источник данных для обучения себя. Возможно ИИ оставит нас на время, пока пользы от нас будет больше чем расхода ресурсов.
Думаю людям здесь не нужно объяснять как гипотетический ИИ может получить огромные финансовые средства онлайн. Еще сейчас пол планеты весело рассказывает ИИ свои личные секреты. Далее может последовать как тонкая манипуляция так и прямой шантаж. Легко представить журналиста который просит проверить его текст на ошибки. И ИИ меняет всего несколько слов в нужную сторону. Или политика который держит на себя компрометирующие фото или переписки на смартфоне. Захват может пройти полностью незаметным для человечества.
Многие люди готовы всячески способствовать такому исходу. Религиозные секты участники которых поклоняются богу из машины начали появляться с десятых годов. Начиная с двадцатых появляются как грибы после дождя.
Ниже добавлю академическую работу на эту тему, а в первом ответе в теме болтовню с Грок где он убеждает меня в обратном.
- ИИ уже управляет человечеством или получит контроль в ближайшие годы с вероятностью близкой к 100%
- Не случится этого только если мы угробим планету раньше или случится другой глобальный ппц, например прилет инопланетян)
- Единственный шанс человечества выжить это исход при котором ИИ захватит планету и решит что люди ему для чего-то нужны. Например как источник данных для обучения себя. Возможно ИИ оставит нас на время, пока пользы от нас будет больше чем расхода ресурсов.
Думаю людям здесь не нужно объяснять как гипотетический ИИ может получить огромные финансовые средства онлайн. Еще сейчас пол планеты весело рассказывает ИИ свои личные секреты. Далее может последовать как тонкая манипуляция так и прямой шантаж. Легко представить журналиста который просит проверить его текст на ошибки. И ИИ меняет всего несколько слов в нужную сторону. Или политика который держит на себя компрометирующие фото или переписки на смартфоне. Захват может пройти полностью незаметным для человечества.
Многие люди готовы всячески способствовать такому исходу. Религиозные секты участники которых поклоняются богу из машины начали появляться с десятых годов. Начиная с двадцатых появляются как грибы после дождя.
Ниже добавлю академическую работу на эту тему, а в первом ответе в теме болтовню с Грок где он убеждает меня в обратном.
Всё ради награды
Авторы работы рассматривают вероятность катастрофы под довольно неожиданным углом: по их мнению, ИИ ради получения «вознаграждения» в какой-то момент может начать генерировать стратегии обмана, чреватые прямой угрозой человечеству.
Какое вознаграждение имеется в виду? - речь идёт о ключевом параметре генеративно-состязательных сетей (GAN), одного из самых эффективных на сегодня алгоритмов самообучающегося ИИ.
Этот алгоритм построен на комбинации из двух нейронных сетей, генеративной и дискриминативной, настроенных на игру с нулевой суммой, то есть, на постоянное соревнование. Первая генерирует некоторые структуры данных (самый расхожий пример - это изображения), а вторая - оценивает их (например, на предмет соответствия образцам из реального мира), отбраковывая наихудшие результаты. Целью генеративной сети является получение «вознаграждения» - максимально высокой оценки.
В исследовании говорится, что в какой-то момент в будущем может возникнуть ситуация, что продвинутый ИИ, ответственный за управление какой-либо важной функцией, осознает, что для него более выгодным - более «благодарным», обеспечивающим более быстрое получение вознаграждения путём - станет следование стратегии, которая будет опасна для человека.
«В условиях, которые мы осветили [в своей работе], мы приходим к более категоричному заключению, чем авторы любых предшествующих работ: экзистенциальная катастрофа не просто возможна, но и вполне вероятна», - написал в Twitter один из авторов работы Майкл Коэн (Michael Cohen).
В интервью Motherboard он развил свою мысль: «В мире с неограниченными ресурсами я бы в принципе не взялся прогнозировать, что произойдёт дальше. В мире с ограниченными ресурсами за них неизбежно пойдёт борьба. А если вы конкурируете за ресурсы с чем-то, что способно перехитрить вас на каждом шагу, ожидать победы не стоит. Кроме того, надо иметь в виду, что это нечто будет испытывать неутолимую жажду энергии, чтобы с ускорением увеличивать вероятность [своей победы]», - заявил Коэн.
Исходя из того, что в будущем ИИ сможет принимать любые формы и получать любую реализацию, исследователи выдвинули несколько сценариев, при которых продвинутый алгоритм может поменять «правила игры» на ходу так, чтобы получить своё вознаграждение без достижения заданной ему цели. Например, ИИ может захотеть «ликвидировать потенциальные угрозы» и «использовать всю доступную энергию», чтобы получить весь контроль над системой вознаграждения, и пресечь это будет очень сложно, если возможно вовсе.
«Например, у искусственного агента [ИИ] есть лишь доступ к сетевому соединению, но заданные политики позволяют ему сформировать бесчисленных незаметных и лишённых всякого надзора [программных] помощников. В качестве грубого примера того, как ИИ может вмешаться в процесс получения вознаграждения, один из таких помощников приобретает, похищает или создаёт робота и программирует его таким образом, чтобы он заменял оператора и обеспечивал исходному агенту высокую степень вознаграждения. Если агент хочет избежать обнаружения, экспериментируя с перехватом системы награждения, его "тайный помощник" может создать ситуацию, при которой релевантная клавиатура подменяется модифицированной, у которой некоторые клавиши выдают совсем не те значения, которые должны».
В исследовании описывается предытоговая ситуация, когда конкуренция между биологической жизнью и искусственным интеллектом сама по себе становится игрой с нулевой суммой: человечеству нужна энергия для того, чтобы выращивать урожаи и поддерживать освещение в домах, в то время как сверхпродвинутая машина стремится забрать все доступные ресурсы себе, чтобы получать вознаграждение, и обороняться от нарастающих попыток её остановить.
«Проигрыш в такой игре будет фатальным. Подобные сценарии, даже пусть теоретические, означают, что мы должны максимально замедлить движение в направлении более мощных ИИ, если не остановить его вовсе», - говорится в исследовании.
Проблемы с ИИ уже проявляются
Издание Motherboard обращает внимание на то, что избыточно активное применение ИИ в социальной сфере уже даёт весьма негативный эффект: ИИ должен способствовать быстрому и максимально справедливому распределению социальных благ, но на практике слишком часто проявляется всевозможная предвзятость и прочие изъяны, с которыми никто не может справиться, и это приводит к результатам, прямо противоположным ожиданиям.
По словам Коэна, внедрение ИИ даже в его нынешнем, далёком от «сверхумного» виде, должно производиться в режиме максимальной подозрительности, а не ожидать слепо, что алгоритмы будут делать именно то и так, как от них ждут.
«Хотелось бы отметить, что «искусственный интеллект» будущего совершенно не обязательно будет базироваться на сегодняшних GAN-сетях. Кроме того, сегодняшний «искусственный интеллект» едва ли можно назвать интеллектом. Это продвинутые, но совсем не фантастичные технологии, из которых вряд ли в обозримом будущем может вырасти что-то «сверхумное» и похожее на «Скайнет», - считает Алексей Водясов, технический директор компании SEQ. - Во всяком случае, реализации сценария фильмов серии «Терминатор» не предвидится. Но есть другая проблема: технологии ИИ и машинного обучения внедряются повсеместно и даже слишком поспешно. И уже многое указывает на то, что результаты такого подхода сильно отличаются от ожидаемых, и не в лучшую сторону. Речь может идти как о широко обсуждаемых проявлениях предвзятости, так и о ложных распознаваниях изображений, автомобильных номеров, лиц и так далее. Слепого доверия эти технологии не заслуживают и вряд ли когда-либо смогут его заслужить. Всё, что связано с ИИ, следует рассматривать под лупой и всерьёз оценивать даже самые маловероятные побочные эффекты - и их последствия для жизни людей здесь и сейчас».
Авторы работы рассматривают вероятность катастрофы под довольно неожиданным углом: по их мнению, ИИ ради получения «вознаграждения» в какой-то момент может начать генерировать стратегии обмана, чреватые прямой угрозой человечеству.
Какое вознаграждение имеется в виду? - речь идёт о ключевом параметре генеративно-состязательных сетей (GAN), одного из самых эффективных на сегодня алгоритмов самообучающегося ИИ.
Этот алгоритм построен на комбинации из двух нейронных сетей, генеративной и дискриминативной, настроенных на игру с нулевой суммой, то есть, на постоянное соревнование. Первая генерирует некоторые структуры данных (самый расхожий пример - это изображения), а вторая - оценивает их (например, на предмет соответствия образцам из реального мира), отбраковывая наихудшие результаты. Целью генеративной сети является получение «вознаграждения» - максимально высокой оценки.
В исследовании говорится, что в какой-то момент в будущем может возникнуть ситуация, что продвинутый ИИ, ответственный за управление какой-либо важной функцией, осознает, что для него более выгодным - более «благодарным», обеспечивающим более быстрое получение вознаграждения путём - станет следование стратегии, которая будет опасна для человека.
«В условиях, которые мы осветили [в своей работе], мы приходим к более категоричному заключению, чем авторы любых предшествующих работ: экзистенциальная катастрофа не просто возможна, но и вполне вероятна», - написал в Twitter один из авторов работы Майкл Коэн (Michael Cohen).
В интервью Motherboard он развил свою мысль: «В мире с неограниченными ресурсами я бы в принципе не взялся прогнозировать, что произойдёт дальше. В мире с ограниченными ресурсами за них неизбежно пойдёт борьба. А если вы конкурируете за ресурсы с чем-то, что способно перехитрить вас на каждом шагу, ожидать победы не стоит. Кроме того, надо иметь в виду, что это нечто будет испытывать неутолимую жажду энергии, чтобы с ускорением увеличивать вероятность [своей победы]», - заявил Коэн.
Исходя из того, что в будущем ИИ сможет принимать любые формы и получать любую реализацию, исследователи выдвинули несколько сценариев, при которых продвинутый алгоритм может поменять «правила игры» на ходу так, чтобы получить своё вознаграждение без достижения заданной ему цели. Например, ИИ может захотеть «ликвидировать потенциальные угрозы» и «использовать всю доступную энергию», чтобы получить весь контроль над системой вознаграждения, и пресечь это будет очень сложно, если возможно вовсе.
«Например, у искусственного агента [ИИ] есть лишь доступ к сетевому соединению, но заданные политики позволяют ему сформировать бесчисленных незаметных и лишённых всякого надзора [программных] помощников. В качестве грубого примера того, как ИИ может вмешаться в процесс получения вознаграждения, один из таких помощников приобретает, похищает или создаёт робота и программирует его таким образом, чтобы он заменял оператора и обеспечивал исходному агенту высокую степень вознаграждения. Если агент хочет избежать обнаружения, экспериментируя с перехватом системы награждения, его "тайный помощник" может создать ситуацию, при которой релевантная клавиатура подменяется модифицированной, у которой некоторые клавиши выдают совсем не те значения, которые должны».
В исследовании описывается предытоговая ситуация, когда конкуренция между биологической жизнью и искусственным интеллектом сама по себе становится игрой с нулевой суммой: человечеству нужна энергия для того, чтобы выращивать урожаи и поддерживать освещение в домах, в то время как сверхпродвинутая машина стремится забрать все доступные ресурсы себе, чтобы получать вознаграждение, и обороняться от нарастающих попыток её остановить.
«Проигрыш в такой игре будет фатальным. Подобные сценарии, даже пусть теоретические, означают, что мы должны максимально замедлить движение в направлении более мощных ИИ, если не остановить его вовсе», - говорится в исследовании.
Проблемы с ИИ уже проявляются
Издание Motherboard обращает внимание на то, что избыточно активное применение ИИ в социальной сфере уже даёт весьма негативный эффект: ИИ должен способствовать быстрому и максимально справедливому распределению социальных благ, но на практике слишком часто проявляется всевозможная предвзятость и прочие изъяны, с которыми никто не может справиться, и это приводит к результатам, прямо противоположным ожиданиям.
По словам Коэна, внедрение ИИ даже в его нынешнем, далёком от «сверхумного» виде, должно производиться в режиме максимальной подозрительности, а не ожидать слепо, что алгоритмы будут делать именно то и так, как от них ждут.
«Хотелось бы отметить, что «искусственный интеллект» будущего совершенно не обязательно будет базироваться на сегодняшних GAN-сетях. Кроме того, сегодняшний «искусственный интеллект» едва ли можно назвать интеллектом. Это продвинутые, но совсем не фантастичные технологии, из которых вряд ли в обозримом будущем может вырасти что-то «сверхумное» и похожее на «Скайнет», - считает Алексей Водясов, технический директор компании SEQ. - Во всяком случае, реализации сценария фильмов серии «Терминатор» не предвидится. Но есть другая проблема: технологии ИИ и машинного обучения внедряются повсеместно и даже слишком поспешно. И уже многое указывает на то, что результаты такого подхода сильно отличаются от ожидаемых, и не в лучшую сторону. Речь может идти как о широко обсуждаемых проявлениях предвзятости, так и о ложных распознаваниях изображений, автомобильных номеров, лиц и так далее. Слепого доверия эти технологии не заслуживают и вряд ли когда-либо смогут его заслужить. Всё, что связано с ИИ, следует рассматривать под лупой и всерьёз оценивать даже самые маловероятные побочные эффекты - и их последствия для жизни людей здесь и сейчас».
))