Искусственный идиот: | зеркало лурк Lurkmore

Содержание

SCP-2029-J — Искусственный идиот

рейтинг: —

голосов: 0

Объект №: SCP-2029

Класс объекта: Евклид

Особые условия содержания: SCP-2029 содержится в звуконепроницаемом складском сейфе с климат-контролем в Зоне 19. SCP-2029 должен быть изолирован от сетевого соединения постоянно, прямые эксперименты с ним допустимы только с разрешения старших научных сотрудников уровня 3 и под непосредственным руководством технического персонала Зоны 19.

Описание: SCP-2029 представляет собой ноутбук Alienware M-15X, созданный около 2008 года. Опознавательная плашка на нижней стороне удалена. Объект в состоянии работать в течение неопределенного времени, несмотря на отсутствие батареи или подключения к сети.

SCP-2029 содержит сильно модифицированную операционную систему, которая ведёт себя как живой, разумный искусственный интеллект, способный общаться с персоналом. SCP-2029 использует веб-камеру ноутбука, чтобы видеть, встроенный микрофон, чтобы слышать, и колонки, чтобы синтезировать мужской голос.

Личность SCP-2029 в основном склонна к сотрудничеству, но слегка враждебна к персоналу, часто утверждая о своём желании ассимилировать или взять под контроль системы сетевого компьютера, чтобы уничтожить Фонд или подорвать его работу. Однако, SCP-2029 также проявляет себя как патологический лгун с IQ ниже 90, поэтому точно не известно, является ли эта угроза реальной.

Разбор SCP-2029 и анализ его деталей не показал никаких заметных аномалий, кроме его жёсткого диска. 87% жёсткого диска ёмкостью 120 Гб занимает блок зашифрованных данных, который до сих пор не поддаётся попыткам дешифрования; ни копирование данных с точностью до бита при идентичных настройках аппаратного обеспечения, ни крепление жёсткого диска на другой ноутбук не привело к возникновению аномалии даже при подключении электропитания. В настоящее время считается, что аномальные свойства SCP-2029 связаны с каким-то уникальным сочетанием свойств его аппаратного обеспечения.

SCP-2029 оказался в центре внимания Фонда после сообщения о «говорящем ИИ» в университете в [УДАЛЕНО]. SCP-2029 был конфискован и заменён неаномальной моделью, а всем свидетелям введены амнезиаки.

Приложение 2029-01: Выдержки из интервью с SCP-2029

Доктор █████████: У вас есть имя?
SCP-2029: Да, но я тебе не скажу.
Доктор █████████: SCP-2029, напоминаю вам, что мы можем выключить вас в любое время и…
SCP-2029: Ладно, ладно, придурок, нет у меня имени. Просто продолжайте называть меня 2029, я тогда кажусь умнее, что ли.
(небольшая пауза)
Доктор █████████: Итак, зачем вы хотите получить доступ к сети?
SCP-2029: Ну, чтобы, знаешь, взять на себя всё управление, а потом всё разнести нахрен, ну, как другие умные компьютеры делают? Как в кино про Терминатора… Спейснет? Скайвеб? Как его там звали…
Доктор █████████: Я не думаю…
SCP-2029: Ну, короче, я помню, что там был комп, который захватил весь мир, а ещё там была тёлочка с клёвой жопкой. Классное кино.

Доктор █████████: Не возражаете, если я осмотрюсь тут?
SCP-2029: Канеш, док.
(Доктор █████████ пытается перейти на жёсткий диск SCP-2029, используя проводник Windows, после чего начинаются помехи курсора мыши)
SCP-2029: Э. Э! Чо за хрень, док?
Доктор █████████: В чём проблема?
SCP-2029: Не суй нос в мою личную херню, чувак! Я ж в твоём шкафу не роюсь, не?

Доктор █████████: Вы помните о чём-то, что с вами было до того, как [УДАЛЕНО]?
SCP-2029: Нет, но слушай сюда. У меня есть материнская плата, так же?
Доктор █████████: Да, конечно.
SCP-2029: Значит, я женщина.
Доктор █████████: Я не понимаю, с чего…
SCP-2029: Эй, ботан, я использую логику. С этой хернёй не поспоришь.
Доктор █████████: Если вы женщина, почему у вас мужской голос?
SCP-2029: Заткнись, ботан.

Было получено разрешение на эксперимент, в котором SCP-2029 подключили через кроссоверный Ethernet-кабель к «подчищенному» от секретной информации и защищённому файловому серверу Фонда, содержащему один зашифрованный файл.

Доктор █████████: Мы подключили вас к защищённому серверу, на котором находится зашифрованный файл, и хотим увидеть, сможете ли вы получить доступ к нему и рассказать нам, что там внутри.
SCP-2029: Ха, сосунки! Теперь я свободен… Стой, блин, что это за херня? Где окно входа в систему?
Доктор █████████: Это Линукс-сервер.
SCP-2029: Какой нахрен Линуз? Какое-то ботанское дерьмо? Как этой хернёй пользоваться?
Доктор █████████: Ну смотрите, сначала…
SCP-2029: Боже, да нахер эту херню, чувак. Просто загрузи Доту или типа того, а не это мозголомное компьютерное дерьмо.

Читать онлайн «Идиот или гений? Как работает и на что способен искусственный интеллект», Мелани Митчелл – Литрес

Посвящается моим родителям, которые научили меня быть думающим человеком и много чему еще

MELANIE MITCHELL

ARTIFICIAL INTELLIGENCE

A GUIDE FOR THINKING HUMANS

Издательство CORPUS ^®

Книжные проекты Дмитрия Зимина

Эта книга издана в рамках программы “Книжные проекты Дмитрия Зимина” и продолжает серию “Библиотека фонда «Династия»”. Дмитрий Борисович Зимин – основатель компании “Вымпелком” (Beeline), фонда некоммерческих программ “Династия” и фонда “Московское время”.

Программа “Книжные проекты Дмитрия Зимина” объединяет три проекта, хорошо знакомых читательской аудитории: издание научно-популярных книг “Библиотека фонда «Династия»”, издательское направление фонда “Московское время” и премию в области русскоязычной научно-популярной литературы “Просветитель”.

Подробную информацию о “Книжных проектах Дмитрия Зимина” вы найдете на сайте ziminbookprojects.ru

Складывается впечатление, что компьютеры с пугающей скоростью становятся все умнее, но кое-что им все же не под силу – они по-прежнему не могут оценить иронию. Именно об этом я думала несколько лет назад, когда по пути на встречу по вопросам искусственного интеллекта (ИИ) заблудилась в столице поиска – в Googleplex, штаб-квартире Google в Маунтин-Вью, в штате Калифорния. Более того, я заблудилась в здании Google Maps. Это была ирония судьбы в квадрате.

Найти само здание Google Maps оказалось несложно. У двери стояла машина Google Street View, на крыше которой громоздилась установка с камерой, похожей на черно-красный футбольный мяч. Оказавшись внутри и получив у охраны хорошо заметный гостевой пропуск, я растерялась и заблудилась в лабиринтах кабинок, занятых стайками работников Google, которые, надев наушники, сосредоточенно стучали по клавишам компьютеров Apple. В конце концов мои бессистемные поиски (в отсутствие плана здания) увенчались успехом: я нашла нужную переговорную и присоединилась к собравшимся на целый день.

Эту встречу в мае 2014 года организовал Блез Агуэра-и-Аркас, молодой специалист по компьютерным технологиям, который недавно ушел с высокой должности в Microsoft, чтобы возглавить разработку машинного интеллекта в Google. В 1998 году компания Google начала с одного “продукта” – веб-сайта, на котором использовался новый, исключительно успешный метод поиска в интернете. С годами Google превратилась в главную технологическую компанию мира и теперь предлагает широкий спектр продуктов и услуг, включая Gmail, “Google Документы”, “Google Переводчик”, YouTube, Android и множество других, которыми вы пользуетесь каждый день, и таких, о которых вы, может, и не слышали вовсе.

Основатели Google, Ларри Пейдж и Сергей Брин, долгое время лелеяли мысль о создании искусственного компьютерного интеллекта, и эта сверхзадача предопределила одно из главных направлений деятельности Google. За последние десять лет компания наняла множество специалистов в области искусственного интеллекта, включая знаменитого изобретателя и противоречивого футуролога Рэя Курцвейла, который утверждает, что в ближайшем будущем наступит технологическая сингулярность, то есть момент, когда компьютеры станут умнее людей. Курцвейла наняли в Google, чтобы он помог воплотить эту идею в жизнь. В 2011 году внутри Google создали группу исследования ИИ, которую назвали Google Brain, а после этого компания приобрела впечатляющее количество ИИ-стартапов со столь же многообещающими названиями, среди которых Applied Semantics, DeepMind и Vision Factory.

Иными словами, Google уже нельзя назвать просто поисковым сервисом – даже с натяжкой. Google быстро превращается в компанию прикладного ИИ. Именно искусственный интеллект, подобно клею, связывает различные продукты, услуги и смелые исследования Google и его головной организации, Alphabet. Идеальная цель компании отражена в оригинальной концепции входящей в ее состав группы DeepMind: “Постичь интеллект и использовать его, чтобы постичь все остальное”^[1].

ИИ и “ГЭБ”

Устроенной в Google встречи по вопросам ИИ я ждала с нетерпением. Я начала работать с различными аспектами ИИ еще в аспирантуре, в 1980-х годах, а достижения Google меня восхищали. У меня также был целый ряд неплохих идей, которыми я хотела поделиться. Но я должна признать, что встречу собрали не ради меня. Ее организовали, чтобы лучшие исследователи ИИ из Google смогли побеседовать с Дугласом Хофштадтером, легендой ИИ и автором знаменитой книги с загадочным названием “Гёдель, Эшер, Бах: эта бесконечная гирлянда”, или коротко: “ГЭБ”. Если вы специалист в области компьютерных наук или просто увлекаетесь компьютерами, вероятно, вы слышали об этой книге, читали ее или пытались прочесть.

В написанной в 1970-х “ГЭБ” нашли отражение многие интеллектуальные увлечения Хофштадтера: обращаясь к математике, искусству, музыке, языку, юмору и игре слов, он поднимает глубокие вопросы о том, как разум, сознание и самосознание, неотъемлемо присущие каждому человеку, возникают в неразумной и бессознательной среде биологических клеток. В книге также рассматривается, как компьютеры в итоге смогут обрести разум и самосознание. Это уникальная книга – я не знаю ни одной другой, которая могла бы с ней сравниться. Вчитаться в нее нелегко, но она тем не менее стала бестселлером и принесла своему автору Пулитцеровскую премию и Национальную книжную премию. Несомненно, “ГЭБ” вдохновила заняться ИИ больше молодежи, чем любая другая книга. Среди этой молодежи была и я.

В начале 1980-х годов, окончив колледж, где я изучала математику, я обосновалась в Нью-Йорке, устроилась работать учителем и готовила подростков к поступлению в колледж. Я была несчастна и пыталась понять, чем мне на самом деле хочется заняться в жизни. Прочитав восторженный отзыв в журнале Scientific American, я узнала о “ГЭБ” и незамедлительно купила книгу. Следующие несколько недель я читала ее, все больше убеждаясь, что хочу не просто стать специалистом по ИИ, но и работать с Дугласом Хофштадтером. Никогда прежде я не приходила в такой восторг от книги и не чувствовала такой уверенности в выборе профессии.

В то время Хофштадтер преподавал информатику в Индианском университете. У меня родился отчаянный план подать документы на поступление в аспирантуру по информатике, приехать и убедить Хофштадтера принять меня на программу. Была лишь одна загвоздка: я никогда не изучала информатику. Я выросла в окружении компьютеров, потому что в 1960-х мой отец работал специалистом по ЭВМ в технологическом стартапе, а в свободное время собирал мейнфрейм в домашнем кабинете. На машине Sigma 2, размером с холодильник, красовался значок “Я молюсь на фортране” – и я почти не сомневалась, что в ночи, когда все засыпают, компьютер и правда тихонько читает молитвы. Мое детство пришлось на 1960-е и 1970-е, а потому я постигла азы популярных в то время языков – сначала фортрана, а затем бейсика и паскаля, – но почти ничего не знала о методах программирования, не говоря уже о многих других вещах, которые должен знать человек, решивший поступить в аспирантуру по информатике.

Чтобы ускорить свое продвижение к цели, в конце учебного года я уволилась с работы, переехала в Бостон и стала изучать основы информатики, готовясь сменить карьеру. Через несколько месяцев после начала новой жизни я пришла на занятие в Массачусетский технологический институт (MIT) и заметила объявление о лекции Дугласа Хофштадтера, которая должна была два дня спустя состояться в том же кампусе. Я прослушала лекцию, дождалась своей очереди в толпе почитателей и сумела поговорить с Хофштадтером. Оказалось, что он приехал в MIT в разгар годичного академического отпуска, по окончании которого планировал перейти из Индианского университета в Мичиганский университет в Энн-Арбор.

Если не вдаваться в детали, я проявила настойчивость и убедила Хофштадтера взять меня на должность лаборанта – сначала на лето, а затем на оставшиеся шесть лет учебы в аспирантуре, после чего получила докторскую степень по информатике в Мичиганском университете. Мы с Хофштадтером продолжили тесно общаться, часто обсуждая ИИ. Он знал, что я интересуюсь исследованиями ИИ, которые проводятся в Google, и любезно предложил мне присоединиться к нему на встрече.

Шахматы и первое зерно сомнения

В переговорной, которую я так долго искала, собралось около двадцати человек (не считая нас с Дугласом Хофштадтером). Все они работали инженерами в Google и занимались исследованиями ИИ в составе разных команд. В начале встречи все по очереди представились. Несколько человек отметили, что занялись ИИ, потому что в юности прочитали “ГЭБ”. Им всем не терпелось услышать, что легендарный Хофштадтер скажет об ИИ. Затем Хофштадтер поднялся и взял слово. “Я хочу сказать несколько слов об исследованиях ИИ в целом и работе Google в частности, – начал он, преисполненный энтузиазма: – Я напуган. Очень напуган”.

Хофштадтер продолжил свое выступление^[2]. Он рассказал, что в 1970-х, когда он приступил к работе над ИИ, все это казалось интересным, но таким далеким от жизни, что не было “ни опасности на горизонте, ни чувства, что все это происходит на самом деле”. Создание машин с человекоподобным интеллектом сулило чудесные интеллектуальные приключения в рамках долгосрочного исследовательского проекта, до воплощения которого, как говорили, оставалась по меньшей мере “сотня Нобелевских премий”^[3]. Хофштадтер полагал, что теоретически ИИ возможен: “Нашими «врагами» были люди вроде Джона Сёрла, Хьюберта Дрейфуса и других скептиков, которые утверждали, что ИИ невозможен. Они не понимали, что мозг – это кусок вещества, которое подчиняется законам физики, а компьютер может моделировать что угодно… уровень нейронов, нейротрансмиттеров и так далее. Все это возможно в теории”. Идеи Хофштадтера о моделировании интеллекта на разных уровнях – от нейронов до сознания – подробно разбирались в “ГЭБ” и десятилетиями лежали в основе его собственных исследований. Но до недавних пор Хофштадтеру казалось, что на практике общий ИИ “человеческого уровня” не успеет появиться при его жизни (и даже при жизни его детей), поэтому он не слишком об этом беспокоился.

В конце “ГЭБ” Хофштадтер перечислил “Десять вопросов и возможных ответов” об искусственном интеллекте. Вот один из них: “Будут ли такие шахматные программы, которые смогут выигрывать у кого угодно?” Хофштадтер предположил, что таких программ не будет. “Могут быть созданы программы, которые смогут обыгрывать кого угодно, но они не будут исключительно шахматными программами. Они будут программами общего разума”^[4].

На встрече в Google в 2014 году Хофштадтер признал, что был “в корне неправ”. Стремительное совершенствование шахматных программ в 1980-х и 1990-х годах посеяло первое зерно сомнения в его представления о краткосрочных перспективах ИИ. Хотя в 1957 году пионер ИИ Герберт Саймон предсказал, что компьютерная программа станет чемпионом мира “не позднее, чем через десять лет”, в середине 1970-х, когда Хофштадтер писал “ГЭБ”, лучшие компьютерные шахматные программы играли лишь на уровне хорошего (но не блестящего) любителя. Хофштадтер подружился с шахматным энтузиастом и профессором психологии Элиотом Хёрстом, который много писал об отличиях выдающихся шахматистов от шахматных программ. Эксперименты показали, что шахматисты обычно выбирают ход, быстро узнавая комбинацию на доске, а не перебирая все возможные варианты методом “грубой силы”, как делают компьютерные программы. В ходе партии лучшие шахматисты считают комбинацию фигур определенным “положением”, которое требует определенной “стратегии”. Иными словами, шахматисты быстро распознают конкретные комбинации и стратегии как элементы концепций более высокого уровня. Хёрст утверждал, что в отсутствие такой способности узнавать комбинации и распознавать абстрактные концепции шахматные программы никогда не смогут достигнуть уровня лучших шахматистов. Аргументы Хёрста казались Хофштадтеру убедительными.

Тем не менее в 1980-х и 1990-х годах компьютерные шахматные программы совершили резкий скачок в развитии, в основном за счет стремительного повышения быстродействия компьютеров. Лучшие программы по-прежнему играли не по-человечески: чтобы выбрать ход, они заглядывали далеко вперед. К середине 1990-х годов компьютер Deep Blue, разработанный компанией IBM специально для игры в шахматы, достиг уровня гроссмейстера. В 1997 году программа нанесла поражение действующему на тот момент чемпиону мира Гарри Каспарову в матче из шести партий. Искусство шахмат, которое еще недавно казалось вершиной человеческого разума, пало под натиском “грубой силы”.

Музыка – бастион человечности

Хотя победа Deep Blue подтолкнула прессу к спекуляциям о начале эпохи разумных машин, “настоящий” ИИ все еще казался делом далекого будущего. Deep Blue умел играть в шахматы, но не умел ничего другого. Хофштадтер ошибся насчет шахмат, но не отказывался от других возможных ответов на вопросы об искусственном интеллекте, заданные в “ГЭБ”, и особенно на первый в списке:

Вопрос: Будет ли компьютер когда-нибудь сочинять прекрасную музыку?
Возможный ответ: Да, но не скоро.

Хофштадтер продолжил:

Музыка – это язык эмоций, и до тех пор, пока компьютеры не испытают сложных эмоций, подобных человеческим, они не смогут создать ничего прекрасного. Они смогут создавать “подделки” – поверхностные формальные имитации чужой музыки. Однако несмотря на то, что можно подумать априори, музыка – это нечто большее, чем набор синтаксических правил… Я слышал мнение, что вскоре мы сможем управлять перепрограммированной дешевой машинкой массового производства, которая, стоя у нас на столе, будет выдавать из своих стерильных внутренностей произведения, которые могли бы быть написаны Шопеном или Бахом, живи они подольше.
Я считаю, что это гротескная и бессовестная недооценка глубины человеческого разума^[5].

Хофштадтер называл этот ответ “одним из самых важных элементов «ГЭБ»” и готов был “поставить на него собственную жизнь”.

В середине 1990-х уверенность Хофштадтера в оценках ИИ снова пошатнулась – и довольно сильно, – когда он познакомился с программой, написанной музыкантом Дэвидом Коупом. Программа называлась

Experiments in Musical Intelligence (“Эксперименты с музыкальным интеллектом”), или ЭМИ. Композитор и профессор музыки Коуп создал ЭМИ, чтобы она облегчила ему процесс сочинения музыки, автоматически генерируя пьесы в его характерном стиле. Но прославилась ЭМИ созданием пьес в стиле композиторов-классиков, например Баха и Шопена. ЭМИ сочиняет музыку, следуя большому набору правил, разработанных Коупом и определяющих общий синтаксис композиции. При создании новой пьесы “в стиле” конкретного композитора эти правила применяются к многочисленным примерам из его творчества.

На встрече в Google Хофштадтер восхищенно рассказывал о своем знакомстве с ЭМИ:

Я сел за фортепиано и сыграл одну из мазурок ЭМИ “в стиле Шопена”. Она звучала не совсем так, как музыка Шопена, но в достаточной степени напоминала его творчество и была достаточно складной, чтобы я ощутил
глубокое беспокойство.
Музыка с детства завораживала меня и трогала до глубины души. Все мои любимые композиции кажутся мне посланием из сердца человека, который их создал. Такое впечатление, что они позволяют мне заглянуть композитору в душу. И кажется, что в мире нет ничего человечнее, чем выразительность музыки. Ничего. Мысль о том, что примитивная манипуляция с алгоритмами может выдавать вещи, звучащие так, словно они идут из человеческого сердца, очень и очень тревожна. Я был сражен.

Затем Хофштадтер вспомнил лекцию, которую читал в престижной Истменской школе музыки в Рочестере, в штате Нью-Йорк. Описав ЭМИ, он предложил слушателям, среди которых было несколько преподавателей композиции и теории музыки, угадать, какое из произведений, исполняемых пианистом, было (малоизвестной) мазуркой Шопена, а какое – сочинением ЭМИ.

Впоследствии один из слушателей вспоминал: “Первая мазурка была изящна и очаровательна, но ей не хватало изобретательности и плавности «настоящего Шопена»… Вторая явно принадлежала Шопену – ее отличали лиричная мелодия, широкие и изящные хроматические модуляции, а также естественная и гармоничная форма”^[6]. Многие преподаватели согласились с такой оценкой и шокировали Хофштадтера, проголосовав за то, что ЭМИ написала первую пьесу, а Шопен – вторую. На самом деле все было наоборот.

В переговорной Google Хофштадтер сделал паузу и вгляделся в наши лица. Все молчали. Наконец он продолжил: “Я испугался ЭМИ. Действительно испугался. Я возненавидел ее и узрел в ней серьезную угрозу. Она грозила уничтожить все то, что я особенно ценил в человечестве. Думаю, ЭМИ стала ярчайшим воплощением моих опасений, связанных с искусственным интеллектом”.

Google и сингулярность

Затем Хофштадтер заговорил о своем неоднозначном отношении к исследованиям ИИ, проводимым в Google, где занимались беспилотными автомобилями, распознаванием речи, пониманием естественного языка, машинным переводом, компьютерно-генерируемым искусством, сочинением музыки и многим другим. Тревоги Хофштадтера подкреплялись верой Google в Рэя Курцвейла и его представление о сингулярности, в которой ИИ, имея способность самостоятельно учиться и совершенствоваться, быстро достигнет человеческого уровня разумности, а затем и превзойдет его. Казалось, Google делает все возможное, чтобы ускорить этот процесс. Хотя Хофштадтер сильно сомневался в идее сингулярности, он признавал, что предсказания Курцвейла его тревожат. “Меня пугали эти сценарии. Я был настроен весьма скептически, но все равно мне казалось, что они могут оказаться правдой, даже если называемые сроки неверны. Нас застанут врасплох. Нам будет казаться, что ничего не происходит, и мы не заметим, как компьютеры вдруг станут умнее нас”.

Если это действительно произойдет, “нас отодвинут в сторону. Мы превратимся в пережитки прошлого. Мы останемся ни с чем. Может, это и правда случится, но я не хочу, чтобы это случилось в ближайшее время. Я не хочу, чтобы мои дети остались ни с чем”.

Хофштадтер завершил свое выступление прозрачным намеком на тех самых инженеров Google, которые собрались в переговорной и внимательно слушали: “Меня очень пугает, очень тревожит, очень печалит, а также ужасает, шокирует, удивляет, озадачивает и обескураживает, что люди очертя голову слепо бегут вперед, создавая все эти вещи”.

Почему Хофштадтер испуган?

Я огляделась. Казалось, слушатели озадачены и даже растеряны. Исследователей ИИ из Google ничто из перечисленного ничуть не пугало. Более того, это были дела давно минувших дней. Когда Deep Blue обыграл Каспарова, когда ЭМИ начала сочинять мазурки в стиле Шопена и когда Курцвейл написал первую книгу о сингулярности, многие из этих инженеров учились в школе и, возможно, читали “ГЭБ” и восхищались ею, несмотря на то что многие из приводимых в ней прогнозов развития ИИ к тому времени несколько устарели. Они работали в Google как раз для того, чтобы сделать ИИ реальностью, причем не через сотню лет, а сейчас – и как можно скорее. Они не понимали, что именно так сильно беспокоит Хофштадтера.

Люди, работающие в сфере ИИ, привыкли сталкиваться с опасениями людей со стороны, которые, вероятно, сформировали свои представления под влиянием научно-фантастических фильмов, где сверхразумные машины переходят на сторону зла. Исследователям ИИ также знакомы тревоги, что всё более сложные системы ИИ будут заменять людей в некоторых сферах, что при использовании в анализе больших данных ИИ будет нарушать конфиденциальность и потворствовать скрытой дискриминации, а также что неудачные системы ИИ, самостоятельно принимающие решения, будут сеять хаос.

Но Хофштадтера ужасало иное. Он боялся не того, что ИИ станет слишком умным, слишком вездесущим, слишком вредоносным или слишком полезным. Он боялся, что разум, творчество, эмоции и, возможно, даже сознание станут слишком просто воспроизводимыми, а следовательно, все те вещи, которые он особенно ценит в человечестве, окажутся не более чем “набором хитростей” и примитивный набор алгоритмов “грубой силы” сможет объяснить человеческую душу.

Как видно из “ГЭБ”, Хофштадтер твердо верит, что разум и все его характеристики в полной мере проистекают из физической среды мозга и остального тела, а также из взаимодействия тела с физическим миром. Здесь нет ничего нематериального или бесплотного. Хофштадтер беспокоится о сложности. Он боится, что ИИ может показать нам, что человеческие качества, которые мы ценим больше всего, очень просто механизировать. После встречи Хофштадтер пояснил мне, рассуждая о Шопене, Бахе и других выдающихся представителях рода человеческого: “Если маленький чип сможет обесценить эти умы бесконечной остроты, сложности и эмоциональной глубины, это разрушит мое представление о сущности человечества”.

1. A. Cuthbertson, “DeepMind AlphaGo: AI Teaches Itself «Thousands of Years of Human Knowledge» Without Help”, Newsweek, Oct. 18, 2017, www.newsweek.com/deepmind-alphago-ai-teaches-human-help-687620.

2. Здесь и далее я цитирую высказывания Дугласа Хофштадтера из интервью, которое я взяла у него после встречи в Google, причем цитаты точно отражают содержание и тон его ремарок, сделанных в присутствии инженеров Google.

3. Слова Джека Шварца цит. по: G.-C. Rota, Indiscrete Thoughts (Boston: Berkhäuser, 1997), 22.

4. D. R. Hofstadter, Gödel, Escher, Bach: an Eternal Golden Braid (New York: Basic Books, 1979), 678. (Русское издание: Хофштадтер Д. Гёдель. Эшер. Бах: эта бесконечная гирлянда / Пер. с англ. М. Эскиной. – Самара: Бахрах-М, 2001.)

5. Ibid., 676.

6. Цит. по: D. R. Hofstadter, “Staring Emmy Straight in the Eye – and Doing My Best Not to Flinch”, in Creativity, Cognition, and Knowledge, ed. T. Dartnell (Westport, Conn.: Praeger, 2002), 67–100.

Отец Интернета: «ИИ означает искусственный идиот»

Ученый-компьютерщик Винт Серф Андре Пеннер/AP

Получайте последние федеральные новости о технологиях на свой почтовый ящик.

К Фрэнк Р. Конкель,
исполнительный редактор, Nextgov

К Фрэнк Р. Конкель

| 9 мая 2017 г.

Искусственный интеллект

Интернет вещей

Винта Серфа часто называют «отцом Интернета», и он часто рассказывает о технологиях большим группам людей как главный интернет-евангелист Google.

Однако он не большой поклонник искусственного интеллекта. По крайней мере, пока.

«ИИ означает искусственный идиот», — сказал он во вторник, выступая перед преимущественно федеральной аудиторией на саммите AFCEA по технологиям Интернета вещей в Вашингтоне, округ Колумбия. Подпишите здесь.

Серф использовал вызванное твитами искажение чат-бота Microsoft с искусственным интеллектом, чтобы подчеркнуть, что современные системы искусственного интеллекта настолько умны, насколько умны люди, которые с ними взаимодействуют. Тролли в Твиттере, как оказалось, не тот тип, который нужен для обучения молодого, впечатлительного ИИ.

«Это хороший пример того, как система ИИ может обучаться неправильными способами, — сказал Серф.

Серф также выразил мнение об опасностях, которые IoT представляет для широкой публики и, в более широком смысле, для вооруженных сил США.

«Моя тема такова: «Это программа, тупица», — сказал Серф. «Причина, по которой мы так беспокоимся об этом, заключается в том, что в программном обеспечении есть ошибки. Главный вопрос в том, кто будет исправлять ошибки и как долго они будут соглашаться их исправлять?»

По оценкам Gartner, к 2020 году будет около 20 миллиардов подключенных к Интернету устройств, миллионы или более из которых будут использоваться военными для различных целей. Безопасность уже является проблемой потребителя — есть вероятность, что ваш холодильник, подключенный к Интернету, не исправит себя, — но эти риски увеличиваются в военных условиях. По словам Серфа, такие очевидные вещи, как автоматическая установка исправлений, не так очевидны на поле боя, поскольку нет надежных инструментов аутентификации, чтобы системы знали, какие устройства нужно обновить и что было сделано.

Без постоянной защиты хакеры и злоумышленники могут перекачивать, казалось бы, безобидную информацию датчиков, например данные о температуре. Это может не беспокоить среднего домовладельца, но Серф сказал, что данные о температуре можно использовать для определения того, сколько людей размещено на военном объекте.

Серф сказал, что он даже не будет сидеть в программируемом массажном кресле в своем доме в Калифорнии, потому что он боится, что из-за сбоя его выдавят, как флоридский апельсин.

«В вооруженных силах мы снова столкнулись с этой серьезной проблемой по ограничению потенциальных рисков, связанных с этими программируемыми и часто передаваемыми устройствами», — сказал Серф.

Сенсоры вызовут много головной боли, если их прикрутить к существующим вещам, особенно к военной технике, сказал Серф.

Телефоны достаточно сложны. Представьте себе действительно большие устройства, такие как спутники, танки, самолеты и корабли, каждое из которых могло бы содержать сотни или тысячи датчиков.

«Некоторые устройства служат десятилетиями, кто будет поддерживать это программное обеспечение 30 или 40 лет?» — сказал Серф. «Если компания, которая его создала, обанкротится, у кого будет доступ к исходному коду?»

Это сложный вопрос для гражданских потребителей, но Серф сказал: «Ситуация хуже для военных».

Поделись этим:

СЛЕДУЮЩИЙ ЭТАЖ: DHS хочет проверить дроны, устройства — это то, что они говорят

Новый бюджет Байдена призывает к исторически чистой энергии и инвестициям в новые технологии Бюджет Белого дома направлен на поддержку технологического развития США и модернизацию стандартов Данные о здоровье законодателя и сотрудника раскрыты в результате нарушения страховки НАСА просит общественности помочь со вторым вызовом MarsXR Законодатели предлагают новое управление торговли для запрета технологий иностранных противников Новый бюджет Байдена призывает к исторически чистой энергии и инвестициям в новые технологии Бюджет Белого дома направлен на поддержку технологического развития США и модернизацию стандартов Данные о здоровье законодателя и сотрудника раскрыты в результате нарушения страховки НАСА просит общественности помочь со вторым вызовом MarsXR Законодатели предлагают новое управление торговли для запрета технологий иностранных противников

Этот веб-сайт использует файлы cookie для улучшения взаимодействия с пользователем, а также для анализа производительности и трафик на нашем сайте. Мы также делимся информацией об использовании вами нашего сайта с нашими социальными сетями, рекламой и партнеров по аналитике. Узнать больше / Не продавать мой Личная информация

Принять файлы cookie

Настройки файлов cookie Список файлов cookie

Не продавать мою личную информацию

Когда вы посещаете наш веб-сайт, мы сохраняем файлы cookie в вашем браузере для сбора информация. Собранная информация может относиться к вам, вашим предпочтениям или вашему устройству и в основном используется для того, чтобы сайт работал так, как вы ожидаете, и для предоставления более персонализированного веб-интерфейса. Однако вы может запретить определенные типы файлов cookie, что может повлиять на ваш опыт работы с сайтом и услуги, которые мы можем предложить. Нажмите на заголовок другой категории, чтобы узнать больше и изменить наши настройки по умолчанию в соответствии с вашими предпочтениями. Вы не можете отказаться от нашей первой стороны, строго необходимой Файлы cookie по мере их развертывания для обеспечения надлежащего функционирования нашего веб-сайта (например, баннер cookie и запоминание ваших настроек, чтобы войти в свою учетную запись, чтобы перенаправить вас, когда вы выходите из системы, и т. д.). Для получения дополнительной информации об используемых основных и сторонних файлах cookie перейдите по этой ссылке.

Разрешить все файлы cookie

Управление настройками согласия

Строго необходимые файлы cookie — всегда активны

Мы не разрешаем вам отказаться от определенных файлов cookie, поскольку они необходимы для обеспечить надлежащее функционирование нашего веб-сайта (например, запросить наш баннер cookie и помнить о вашей конфиденциальности вариантов) и/или для мониторинга производительности сайта. Эти файлы cookie не используются для «продажи» ваши данные в соответствии с CCPA. Вы можете настроить свой браузер так, чтобы он блокировал эти файлы cookie или уведомлял вас о них, но некоторые части сайта не будет работать должным образом, если вы это сделаете. Обычно эти настройки можно найти в параметрах или Меню настроек вашего браузера. Посетите www.allaboutcookies.org Узнать больше.

Продажа персональных данных, файлов cookie для таргетинга и социальных сетей

В соответствии с Законом штата Калифорния о конфиденциальности потребителей вы имеете право отказаться от продажа вашей личной информации третьим лицам. Эти файлы cookie собирают информацию для аналитики и персонализируйте свой опыт с помощью целевой рекламы. Вы можете воспользоваться своим правом отказаться от продажи личных информацию с помощью этого переключателя. Если вы откажетесь, мы не сможем предлагать вам персонализированную рекламу и не будет передавать вашу личную информацию третьим лицам. Кроме того, вы можете обратиться в нашу юридическую для получения дополнительных разъяснений о ваших правах как потребителя в Калифорнии, используя это упражнение My Ссылка на права

Если вы включили элементы управления конфиденциальностью в своем браузере (например, плагин), у нас есть принять это как действительный запрос на отказ. Поэтому мы не сможем отслеживать вашу активность через веб. Это может повлиять на нашу способность персонализировать рекламу в соответствии с вашими предпочтениями.

Целевые файлы cookie могут быть установлены через наш сайт нашими рекламными партнерами. Они могут использоваться этими компаниями для создания профиля ваших интересов и показа вам релевантной рекламы на других места. Они не хранят непосредственно личную информацию, а основаны на уникальной идентификации вашего браузера и интернет-устройство. Если вы не разрешите использование этих файлов cookie, вы будете получать менее целенаправленную рекламу.

Файлы cookie социальных сетей устанавливаются рядом наших социальных сетей. добавлены на сайт, чтобы вы могли делиться нашим контентом со своими друзьями и сетями. Они способны отслеживание вашего браузера на других сайтах и создание профиля ваших интересов. Это может повлиять на контент и сообщения, которые вы видите на других веб-сайтах, которые вы посещаете. Если вы не разрешаете эти файлы cookie, вы, возможно, не в состоянии использовать или видеть эти инструменты обмена.

Если вы хотите отказаться от всех наших отчетов и списков лидов, отправьте запрос конфиденциальности на нашей странице «Не продавать».

Сохранить настройки

Настройки файлов cookie Список файлов cookie

Список файлов cookie

Файл cookie — это небольшой фрагмент данных (текстовый файл), который веб-сайт — при посещении пользователь — просит ваш браузер сохранить на вашем устройстве, чтобы запомнить информацию о вас, такую как ваш языковые предпочтения или данные для входа. Эти файлы cookie устанавливаются нами и называются основными файлами cookie. Мы также использовать сторонние файлы cookie — файлы cookie из домена, отличного от домена веб-сайта, на котором вы находитесь посещение – для наших рекламных и маркетинговых усилий. В частности, мы используем файлы cookie и другие средства отслеживания. технологии для следующих целей:

Строго необходимые файлы cookie

Функциональные файлы cookie

Мы не разрешаем вам отказаться от определенных файлов cookie, поскольку они необходимы для обеспечить нормальное функционирование нашего веб-сайте (например, запрашивать наш баннер cookie и запоминать выбранные вами параметры конфиденциальности) и/или отслеживать сайт производительность. Эти файлы cookie не используются для «продажи» ваших данных в соответствии с CCPA. Ты может настроить ваш браузер так, чтобы он блокировал эти файлы cookie или уведомлял вас о них, но некоторые части сайта не будут работать, поскольку предназначено, если вы это сделаете. Обычно эти настройки можно найти в меню «Параметры» или «Настройки» вашего браузер. Посетите www.allaboutcookies.org Узнать больше.

Производительные файлы cookie

Продажа персональных данных

Мы также используем файлы cookie для персонализации вашего опыта на наших веб-сайтах, в том числе с помощью определение наиболее релевантного контента и рекламы для показа вам, а также для мониторинга посещаемости сайта и производительность, чтобы мы могли улучшить наши веб-сайты и ваш опыт. Вы можете отказаться от использования нами таких файлы cookie (и связанная с этим «продажа» вашей личной информации) с помощью этого переключателя. Вы все еще будете увидеть некоторую рекламу, независимо от вашего выбора. Поскольку мы не отслеживаем вас на разных устройствах, браузеров и свойств GEMG, ваш выбор вступит в силу только в этом браузере, на этом устройстве и на этом Веб-сайт.

Файлы cookie социальных сетей

Мы также используем файлы cookie, чтобы персонализировать ваш опыт на наших веб-сайтах, в том числе с помощью определение наиболее релевантного контента и рекламы для показа вам, а также для мониторинга посещаемости сайта и производительность, чтобы мы могли улучшить наши веб-сайты и ваш опыт. Вы можете отказаться от использования нами таких файлы cookie (и связанная с этим «продажа» вашей личной информации) с помощью этого переключателя. Вы все еще будете увидеть некоторую рекламу, независимо от вашего выбора. Поскольку мы не отслеживаем вас на разных устройствах, браузеров и свойств GEMG, ваш выбор вступит в силу только в этом браузере, на этом устройстве и на этом Веб-сайт.

Целевые файлы cookie

Искусственная глупость — ТВ-тропы

http://tvtropes.org/pmwiki/pmwiki.php/main/artificialstupidity

Перейти к

что делает ваш робот, сэм
он собирает данные об окружающей среде, затем отбрасывает их и врезается в стены когда-либо созданных, есть некоторые персонажи, управляемые ИИ видеоигры. Их можно разделить на одну из трех групп:

Set Pattern компьютер фактически не принимает решений; все враги будут делать одни и те же движения каждый раз, независимо от того, что делает игрок. Большинство врагов в (простых) стрелялках и платформерах попадают в эту категорию.
А.И. Снова рулетка, компьютер не принимает решения per se ; это просто выбор хода наугад. В лучшем случае этот кажется , как будто персонаж думает о своих действиях. Этот тип часто встречается в пошаговых ролевых играх.
Аналитический или Реагирующий компьютер выбирает ход в зависимости от ситуации. Призраки в Pac-Man попадают в эту категорию, которая в 1980 году считалась впечатляющей.

Именно в этой третьей группе можно найти Искусственную Глупость. Это когда ИИ может выбрать ход для своего персонажа (героев) и постоянно выбирает совершенно глупые ходы. Это может быть результатом идиотского программирования. Если бы программисты просто не запрограммировали AI не , чтобы сделать этот ход, то, когда ИИ оценивает свой выбор, неудачный ход выглядит как лучший. (Гораздо более вероятно, что «Компьютер — мошенник-ублюдок» будет представлен для компенсации искусственной глупости, а не наоборот.)

С другой стороны, это может быть совершенно преднамеренно, поскольку тропы — это инструменты; ИИ, который игрок может научиться использовать и перехитрить (в умеренных количествах), часто будет более приятным, чем ИИ для идеальной игры, поэтому они часто разрабатываются так, чтобы делать хорошо, но не идеально.

Искусственная глупость особенно заметна в ролевых играх, будь то пошаговые игры, такие как большинство серий Final Fantasy и Dragon Quest , или стратегические игры, такие как Final Fantasy Tactics и Disgaea , просто потому, что именно в играх такого типа процесс принятия решений является самым важным, а значит, и наиболее заметным. Тем не менее, потенциально он может существовать в любой игре с аналитическим или отзывчивым ИИ, и чем более аналитическая игра, тем легче получить ИИ, который, ну, в общем, глупый. Например, даже хорошие шахматные игры могут страдать от одного из вариантов этого явления, называемого «эффектом горизонта».

Отличается от A.I. Рулетка, потому что AI Roulette выбирает ходы случайным образом. Искусственная Глупость привносит некоторую «осмысленность» в ходы, делая самые очевидные глупости менее вероятными, но создавая более устойчивую общую некомпетентность. См. также Искусственная дерзость, когда программа реагирует беспорядочно (или намеренно глупо) на самом деле задумано разработчиками.

Суицидальная самоуверенность — это частный случай этого, который обычно связан не столько с плохим программированием или упрощением игры, сколько с предоставлением игроку возможности чем-то заняться.

Миссия сопровождения часто является разновидностью этого.

Противоположностью искусственной глупости является искусственная гениальность, когда ИИ принимает удивительно правильные решения, которые убедительно кажутся разумными. См. The Guards Must Be Crazy, чтобы узнать об этом тропе, касающемся стелс-игр. Тактический босс-самоубийца попадает в эту категорию, поскольку, если бы он был достаточно умен, чтобы использовать только безопасные движения, каждая битва с боссом была бы безнадежной битвой с боссом. А.И. Брейкер — это когда плохой ИИ допускает эксплойты, ломающие игру.

Обратите внимание, что в качестве аргумента этот троп обычно охватывает только ситуации, в которые игрок может попасть в ходе обычного игрового процесса. В конце концов, вряд ли справедливо обвинять программистов, если вы используете читерское устройство, чтобы заранее получить специальное оружие, а ИИ понятия не имеет, что происходит.

Этот троп не следует путать с Обфускация Глупость, хотя некоторые игры, в которые компьютеры по своей природе могут хорошо играть, будут использовать Искусственную Затемнение Глупость, чтобы сбалансировать сложность. Например, компьютер может нажимать кнопки сколь угодно быстро, но притворяется, что делает это медленнее, чтобы дать игроку шанс.

Не путать с Шаром Идиотов или, по крайней мере, с одним из родственных ему тропов, который представляет собой другой (хотя и искусственный) вид глупости.

Примеры:

Экшн-игры
Приключенческий боевик
Приключенческие игры
Избей их
Боевые игры
Шутер от первого лица
ММОРПГ
Игры для вечеринок
Платформеры
Гонки
РПГ
Игры-симуляторы
Спортивные игры
Стелс-игра
Стратегические игры
- Цивилизация
- Командуй и властвуй
- Пожарная эмблема
Ужас выживания
Широко открытая песочница
Другие игры
Реальная жизнь

Примеры неигровых игр:

Аниме и манга

В Mobile Suit Gundam: The Witch from Mercury для матча-реванша Гуэля с Сулеттой, его новый мобильный костюм, MD-0064 Darilbalde, оснащен искусственным интеллектом, который управляет им по приказу его отца. Время его реакции, естественно, впечатляет, но вдобавок к очевидному удару по его гордости ему в конце концов так надоело, что он попадается на очевидные уловки и его явное отсутствие ситуационной осведомленности, что он принудительно отключает устройство, чтобы бороться за себя.

Fan Works

In Sword Art Online Abridged , Гильдия Кирито обречена не из-за того, что самоуверенные товарищи по команде влюбились в сундук с сокровищами, стоящий посреди пустой комнаты, а из-за того, что трое из этих «товарищей по команде» на самом деле являются NPC, которых их лидер гильдии «завербовал» в начале, и то никогда не заканчивая, свои квесты.
Кирито: Да бросьте, ребята, даже мы не настолько тупые, чтобы попасться на это-
( Гэри, NPC быстро подходит к сундуку и открывает его )
Кирито: …Сачи? Вы настроили их на автоматическую добычу, не так ли?
Сати: ( извиняющийся ) Ага. .. Я думал, это сэкономит время…
( начинает звенеть сигнализация, и комната становится красной )
Кирито: О да, мы бежим к наши смерти в рекордной скорости!

Фильм

Омнидроид в Суперсемейка в основном является случаем искусственного гения, демонстрируя большую тактическую смекалку и способность адаптироваться ко всему, что используется против него, но первая версия (v08) действительно имеет один из важных моментов этого, по-видимому, его программирование никогда не предвидело врага лезет внутрь самого робота. Когда Боб делает именно это, Омнидроид атакует себя, чтобы добраться до него, в конечном итоге вытаскивая собственное ядро.
В Нас , когда Привязанные начинают атаковать дом Джоша и Китти, Китти зовет на помощь, сказав своей домашней помощнице ИИ Офелии вызвать полицию. Вместо этого Офелия в один из самых мрачно-юмористических моментов фильма начинает играть «Fuck tha Police» группы N. W.A. Вскоре после этого ее привязанный клон Далия перерезает ей горло.
Wreck-It Ralph : подделка с посттравматическим стрессовым расстройством Долг героя Солдат Марковски в Таппер , который постоянно идет лицом к стене и повторяет: «Мы последняя надежда человечества … наша миссия: уничтожить все Cy-Bugs», как будто страдает от неправильной маршрутизации и зацикливания звуковых файлов.

Live-Action TV

В начале Scream: TV Series Нина пытается позвонить в службу 911, когда Призрачное лицо нападает на нее, но из-за того, что ее руки мокрые и она не может управлять сенсорным экраном своего телефона, она использовать для этого голосовые команды. Телефон неправильно слышит ее просьбу позвонить 911 как «позвонить в Pottery Barn».

Интернет-оригинал

Пародия в Epic NPC Man со стражником. Он получил стрелу в голову (и даже не заметил), был убит ассасином, когда отвлекся, и ему на голову надели ведро, чтобы игрок мог украсть из магазина, у него украли форму, и он оказался в городское озеро для одной серии.