из-за них стоило рисковать здоровьем.
- Есть, Шелли, в этом-то все и дело. Помните, когда вы уходили вчера
вечером, мы бились с программой-координатором? Что бы мы ни делали,
система норовила свернуться в клубок и умереть. Поэтому я начал с простой
задачи - сортировки кубиков по цвету. Потом усложнил ее, предложив
разноцветные кубики разной формы. А когда я через некоторое время
посмотрел, программа-координатор все еще работала, но все остальные,
видимо, отключились. Тогда я решил записать, что произойдет, когда я снова
все запущу, и на этот раз ввел языковую программу, которая записывала все
команды, поступавшие от координатора в остальные блоки. Теперь он стал
работать медленнее, и я наконец понял, что происходит. Вот, смотрите сами.
Он поставил запись, сделанную ночью. На экране показался робот,
быстро сортирующий разноцветные кубики, потом он стал работать медленнее,
еще медленнее и наконец совсем остановился. Из динамика слышался глубокий
бас Робина-3:
- ...К-линия 8997, выдай ответ на входной сигнал 10983... время
реакции слишком велико... отвечай немедленно... блокирую. Задаю
подпроблему 384. Принят ответ от К-4093. Блокирую замедленные ответы от
К-3274 и К-2314. Задаю подпроблему 385. Ответы от К-2615 и К-1488
противоречат друг другу - блокирую обоих. Задаю...
Брайан выключил динамик.
- Понимаете?
- Не совсем. Одно ясно: эта программа только и делает, что блокирует
другие.
- Ну да, в этом-то и дело. Предполагалось, что она должна обучаться
на опыте, вознаграждая хорошо работающие блоки и блокируя плохо
работающие. Но ей был задан слишком высокий порог - ее устраивали только
безупречные и мгновенные ответы. Поэтому она вознаграждала только те
блоки, которые отвечали быстро, а более медленные отключала - даже когда
они пытались сделать то, что в конечном счете было бы правильнее.
- А, понимаю. А дальше - эффект домино: когда какой-нибудь блок
отключался, ослабевала связь других блоков с ним...
- Вот именно. И тогда реакция этих блоков замедлялась, и они тоже в
свою очередь отключались. Пока программа-координатор не заблокировала
всех.
- Какой ужас! Получается, что она совершила самоубийство!
- Ничего подобного! - раздраженно сказал он голосом, хриплым от
усталости. - Это чистейший антропоморфизм. Машина - не человек. И что
такого ужасного, когда одна схема отключает другую схему? Да там же нет
ничего, кроме электроники и программ. К человеку это никакого отношения не
имеет, при чем тут ужас?
- Не говорите со мной таким тоном!
Кровь бросилась в лицо Брайану, но он тут же опустил глаза.
- Простите, беру свои слова обратно. Кажется, я просто устал.
- Вам кажется, а я точно это знаю. Ваши извинения приняты. И это
действительно был антропоморфизм. Но дело не в том, что вы мне говорили, а
в том, каким тоном. Давайте не будем больше цапаться, лучше пойдем подышим
воздухом. И уложим вас спать.
- Хорошо. Только сначала я кое-что просмотрю.
Брайан подошел к терминалу и углубился в схему робота. Один за другим
на экране появились чертежи. В конце концов он мрачно кивнул:
- Ну конечно, опять ошибка. Она появилась после того, как я исправил
последнюю. Помните, я ввел установку на подавление чрезмерной блокировки,
чтобы робот не отключался сам собой? А теперь он бросился в другую
крайность - не знает, когда нужно остановиться. Этот искусственный
интеллект прекрасно отвечает на простые вопросы, но только если ответ
можно найти почти не думая. А вы видели, что произошло, когда он не знал
ответа. Начал произвольный поиск, заблудился и не понимал, что надо
остановиться. Он, можно сказать, не знал, чего именно не знает.
- Мне показалось, что он просто свихнулся.
- Можно сказать и так. Для ошибок в работе человеческого мозга у нас
есть множество слов - паранойя, кататония, фобия, невроз, нерациональное
поведение. Наверное, для всех новых причуд, которые появятся у наших
роботов, придется придумывать новые слова. И можно не надеяться, что новая
конструкция заработает сразу после первого включения. В данном случае она
пыталась воспользоваться всеми своими экспертными системами, чтобы решить
одну и ту же задачу. Координатор оказался недостаточно силен, чтобы
подавить ненужные. Весь этот набор слов свидетельствовал о том, что он
цеплялся за любую ассоциацию, которая, казалось, может привести его к
решению, как бы мало вероятно это ни было. А когда какой-нибудь подход
оказывался неудачным, эта штука не догадывалась, что надо остановиться.
Даже если наш искусственный интеллект будет работать, нет никакой
гарантии, что он не окажется, с нашей точки зрения, ненормальным.
Брайан потер небритую щеку и взглянул на замершую в неподвижности
машину.
- Давайте-ха как следует посмотрим вот здесь, - он ткнул пальцем в
схему на экране. - Здесь видно, что случилось на этот раз. У Робина-3-1
была слишком сильная блокировка, и он отключался. Поэтому я изменил этот
параметр, и теперь блокировка недостаточна.
- Так что же делать?
- Ответ простой - ответа не существует. Нет, это никакая не мистика.
Я хочу сказать, что координатор должен знать больше. Именно потому, что
чудес не бывает, что общего решения нет. Не может быть простого рецепта,
который срабатывал бы во всех случаях, - потому что все случаи разные.
Стоит только это признать, как все становится намного понятнее!
Координатор должен быть связан с базой знаний. И тогда он сможет на опыте
учиться тому, что должен делать!
- Вы хотите сказать, что он узнает, какую стратегию применить в
данной ситуации, вспомнив, какая пригодилась ему в прошлом?
- Именно так. Вместо того чтобы искать жесткую формулу, которая
срабатывала бы всегда, пусть учится на опыте, от одного случая к другому.
Потому что нам нужна машина, которая была бы разумна сама по себе, чтобы
не приходилось постоянно дежурить поблизости, поправляя ее, когда что-то
идет не так. Мы должны научить ее исправлять ошибки по мере их появления.
Исправлять самостоятельно, без нашей помощи. Теперь я знаю, что делать.
Помните, когда она словно ходила по кругу, повторяя одно и то же? Нам-то
легко было видеть, что она бьется на одном месте. Но она не понимала, что
зациклилась, - и именно потому, что зациклилась, она не могла выйти за
пределы замкнутого круга и увидеть его со стороны. Это мы исправим -
добавим записывающее устройство, которое будет запоминать, что она только
что делала. И часы, которые будут то и дело прерывать работу программы,
чтобы она могла просмотреть запись и увидеть, что движется по кругу.
- Или еще лучше - добавить еще один процессор, который будет
постоянно работать, присматривая за первым. Мозг Б для присмотра за мозгом
А.
- А может быть, и мозг В для присмотра, не зациклился ли мозг Б. Черт
возьми! Я только что вспомнил, что в одной из моих старых записей
говорилось: "Здесь поставить мозг Б, чтобы подавить зацикливание". Надо бы
мне, конечно, тогда писать пояснее. Дайте-ка я прикину, каким должен быть
этот мозг Б.
- Только не сейчас! В таком состоянии вы все испортите.
- Вы правы. Пора спать. Лягу, не беспокойтесь, только сначала
чего-нибудь поем.
- Я пойду с вами и выпью кофе.
Брайан отпер дверь и сощурился от яркого солнечного света.
- Вы мне как будто не доверяете.
- Да, не доверяю - после сегодняшней ночи.
Шелли прихлебывала кофе, пока Брайан расправлялся с завтраком
по-техасски - бифштексом с яйцом и оладьями. Не в состоянии его одолеть,
он перевел дух и отодвинул тарелку. Если не считать двух сменившихся с
дежурства охранников, которые сидели за столом в дальнем углу, они были в
столовой одни.
- Вот теперь я чувствую себя более или менее человеком, - сказал он.
- Еще кофе?
- Нет, мне более чем достаточно, спасибо. Как вы думаете, сумеете вы
наладить ваш свихнувшийся искусственный интеллект?
- Нет, я так на него разозлился, что стер ему всю память. Придется
заново переписать кое-какие программы, прежде чем мы снова его загрузим.
Это займет пару часов. Даже ассемблеру "лама-5" требуется для таких вещей
много времени. И на этот раз, прежде чем запускать новый вариант, я хочу
сделать резервную копию.
- Это значит - дубликат. А как вы думаете, когда у вас будет
работающий человекоподобный искусственный интеллект, можно будет снять
копию и с него?
- Конечно. Что бы он ни делал, это все равно всего лишь программа.
Программу всегда можно скопировать, и любая копия ничем не будет от нее
отличаться. А почему вы спрашиваете?
- Проблема индивидуальности. Будет ли второй искусственный интеллект
в точности таким же, как и первый?
- Да, но только в тот момент, как будет скопирован. А как только
заработает, начнет думать сам, - станет меняться. Вспомните: мы не что
иное, как наша память. Когда мы что-то забываем, или чему-нибудь
обучаемся, или нам приходит в голову новая мысль, новая ассоциация, - мы
меняемся. Становимся кем-то другим. И это же относится к искусственному
интеллекту.
- Вы в этом уверены? - спросила она с сомнением.
- Безусловно. Потому что именно так функционирует сознание. А это
значит, что мне придется еще много поработать над критериями оценки.
Потому-то и оказались неудачными столько прежних вариантов Робина.
Проблема в оценке последствий - мы об этом уже говорили. На самом деле
схема "возбудитель - реакция - вознаграждение" для обучения не годится:
таким способом можно решать только простые задачи, дающие непосредственный
результат. Нет, нужно добиваться масштабного мышления, надо обдумывать
долгосрочные последствия, выяснять, какие стратегии действительно были
эффективными, а какие заводили в тупик, какие ходы, казавшиеся полезными,
на самом деле ничего не дали.
- У вас получается, что сознание - это что-то вроде... вроде
луковицы.
- Ну да. - Он улыбнулся этому сравнению. - Хорошая аналогия. Слой за
слоем, и все соединены между собой. Человеческая память не просто
ассоциативна, она не ограничивается сопоставлением ситуаций, реакций на
них и результатов. Это еще и прогноз. Возникающие ассоциации тоже должны
включать долгосрочные цели и планы. Вот почему так важна разница между
краткосрочной и долговременной памятью. Почему требуется примерно час,
чтобы запомнить что-то надолго? Потому что должен быть какой-то буферный
период, чтобы решить, какое поведение на самом деле достаточно полезно,
чтобы занести его в память.
Внезапно он ощутил усталость. Кофе остыл, голова начинала болеть,
надвигалась депрессия. Шелли заметила это и дотронулась до его руки.
- Пора спать, - сказала она. Он вяло кивнул и с трудом поднялся со
стула.
26. 19 ИЮНЯ 2024 ГОДА
Беникоф постучал, и Шелли открыла ему дверь.
- Брайан только что пришел, - сказала она. - Я как раз достала для
него пива. Вам тоже?
- Если не трудно.
- Заходите, взгляните, как я устроилась, - в конце концов, оплатили
все это вы.
Она ввела его в гостиную, где были тщательно вытравлены все следы
казармы. Окно обрамляли шторы от пола до потолка из яркой ткани ручной
работы. Темно-оранжевый ковер был подобран в тон их рисунку, с ним
гармонировали и изящные линии датской мебели из тикового дерева, а почти
целую стену занимало красочное пятно посткубистской картины.
- Прекрасно смотрится, - сказал Бен. - Теперь я понимаю, почему
бухгалтерия была в истерике.
- Вовсе не из-за этого. Ткань и ковер - это израильский дизайн и
