AI уничтожит нашу цивилизацию? Фифти-фифти
Искусственный интеллект способен положить конец человечеству. Вероятность такого исхода Питер Березин, главный глобальный стратег BCA Research, оценивает примерно в 50%.
AI используется без соблюдения необходимых протоколов безопасности
BCA Research — компания с историей длиной в 70 лет. За эти годы аналитики BCA сделали ряд неожиданных прогнозов, которые попали, что называется, в яблочко. Например, в 2011 году, в разгар кризиса EUR, компания убедила инвесторов, что ни одна европейская страна не покинет еврозоны. В результате клиенты смогли воспользоваться значительными премиями за риск при покупке активов в ЕС и не прогадали. Или 2015 год, когда, несмотря на всеобщий скепсис, в BCA указали на Дональда Трампа как на будущего лидера президентской гонки.
Питер Березин и его пессимистичный прогноз. Источник: CNBC
Одним словом, прогнозировать в BCA Research умеют, и насчет AI в компании настроены достаточно настороженно. В своем недавнем интервью CNBC Питер Березин сразу призывает отбросить игривый тон. Он подчеркивает, что уже в середине текущего века (то есть примерно через 25 лет) можно ожидать серьезных последствий использования AI.
Стратег говорит о необходимости мыслить экспоненциально, а не линейно. Он напоминает о недавней ситуации с распространением пандемии COVID-19, экспоненциальный рост которой был недооценен.
Так и в случае с AI: люди могут не замечать быстрого прогресса до момента, пока машина не начнет выполнять задачи, которые всегда считались прерогативой человека. Березин подчеркивает колоссальный потенциал безудержного расширения возможностей искусственного интеллекта. Он вспоминает предыдущие цивилизационные скачки — аграрную или промышленную революцию. Все они демонстрировали экспоненциальный рост.
Особую обеспокоенность ресечера вызывает небрежность, с которой некоторые заинтересованные стороны взаимодействуют с AI. В частности, Березин выражает сомнение в ответственных действиях таких гигантов, как Microsoft, Google и OpenAI. Он констатирует, что эти компании в первую очередь несут ответственность перед своими акционерами, а не человеческой цивилизацией.
AI уничтожает человечество, потому что код пишет код, — утверждает Березин.
Стратег объясняет, что протоколы безопасности, рекомендованные экспертами по AI, игнорируются. Это не только запрет на написание собственного кода, но и запрет на доступ AI к интернету.
Подобная беспечность повышает риски того, что такие модели, как ChatGPT, продолжая развиваться экспоненциально, выйдут из-под человеческого контроля. Люди привыкли быть доминирующим видом на планете, но ситуация может измениться кардинально.
Также в BCA Research упоминают о возможности непредвиденных последствий в случае, когда продвинутым системам AI ставятся глобальные цели, а пути их достижения не ограничиваются. Это ведь не обязательно будет сценарий фильма «Терминатор». Березин приводит пример продвинутого AI, которому предлагают внедрить решение, смягчающее проблему глобального потепления. Если не дать никаких уточнений, система может вспомнить, что температуру на планете успешно снизит ядерная война (со всеми вытекающими из этого вывода последствиями). Эксперт снова и снова подчеркивает, что сложные системы — непредсказуемы.
AI собирается уничтожить планету?
Мы в GNCrypto поинтересовались у ChatGPT, считает ли он убедительными доводы Питера Березина.
Нужно сказать, что наш парень не отрицал очевидного. Аргументы докладчика о необходимости мыслить экспоненциально, а не линейно при рассмотрении роста и возможностей AI он назвал вескими. А опасения по поводу игнорирования протоколов безопасности и возможности того, что искусственный интеллект превзойдет человеческий контроль, — важными соображениями.
Тем не менее, резюмировал ChatGPT, точка зрения зависит от места сидения. Кто-то видит риски экспоненциального роста AI, а для кого-то преимущества их перевешивают. Дескать, дискуссия сложная и непрекращающаяся, требующая оценки всех точек зрения, сценариев и разработки структур управления.
В общем, как говорится в таких случаях, подсудимый своей вины не признал, но и не отрицал.
ChatGPT считает аргументы Березина не лишенными смысла. Источник: диалог с ChatGPT