На прошлой неделе я разговаривал с двумя морскими пехотинцами США, которые большую часть прошлого года провели в Тихом океане, проводя учебные учения от Южной Кореи до Филиппин. Оба отвечали за анализ разведывательной информации, чтобы предупредить своих начальников о возможных угрозах для подразделения. Однако эта командировка была уникальной: впервые они использовали генеративный ИИ для анализа разведданных через интерфейс чат-бота, аналогичный ChatGPT.
Как я и писал в своей статье, этот эксперимент является последним доказательством попыток Пентагона использовать генеративный ИИ — инструменты, которые могут вести разговор, похожий на человеческий, — по всей своей иерархии для выполнения задач, включая наблюдение. Можно считать это этапом два в усилиях армии США по использованию ИИ, где первый этап начался еще в 2017 году с использованием более старых типов ИИ, таких как компьютерное зрение для анализа изображений с дронов. Хотя этот новый этап начался при администрации Байдена, сейчас существует новая настоятельная необходимость, так как Илон Маск и министр обороны Пит Хегсит поощряют эффективность на основе ИИ.
Как я также отмечаю в своей статье, этот подход вызывает тревогу у некоторых экспертов в области безопасности ИИ относительно того, подходят ли большие языковые модели для анализа тонких элементов разведывательной информации в ситуациях с высоким геополитическим риском. Это также ускоряет движение США к миру, где ИИ не только анализирует военные данные, но и предлагает действия — например, создает списки целей. Сторонники утверждают, что это обещает большую точность и меньше гражданских жертв, но многие правозащитные группы утверждают обратное.
С учетом этого, вот три открытых вопроса, на которые стоит обратить внимание, по мере того как американские военные и другие страны мира внедряют генеративный ИИ в большее число частей так называемой “цепи убийства“.
Каковы пределы концепции “человек в процессе”?
Если поговорить с множеством компаний в области оборонных технологий, вы часто услышите одну фразу: “человек в процессе”. Это означает, что ИИ отвечает за определенные задачи, а люди должны проверять его работу. Это предназначено как защитная мера от самых мрачных сценариев — например, когда ИИ ошибочно отдает приказ о смертельном ударе, — но также и от более тривиальных ошибок. В этой идее подразумевается признание того, что ИИ будет ошибаться, и обещание, что люди смогут их обнаружить.
Но сложность систем ИИ, которые опираются на тысячи данных, делает эту задачу героической для людей, говорит Хейди Хлааф, главный научный сотрудник в области ИИ в Институте ИИ Сейчас, организации по исследованию, и ранее руководила аудитами безопасности для ИИ-систем.
“Концепция ‘человек в процессе’ не всегда является значительной гарантией безопасности”, — говорит она. Когда модель ИИ опирается на тысячи данных для формирования выводов, “человеку на самом деле не представляется возможным просеивать такое количество информации, чтобы определить, является ли вывод ИИ ошибочным”. Поскольку системы ИИ полагаются на все большее количество данных, эта проблема увеличивается.
Упрощает ли ИИ определение того, что должно быть засекречено?
В эпоху Холодной войны в разведке США информация собиралась скрытыми методами, записывалась в отчеты экспертами в Вашингтоне, а затем маркировалась как “Совершенно секретно”, с доступом, ограниченным для тех, у кого есть соответствующие разрешения. Эпоха больших данных и сейчас появление генеративного ИИ для анализа этих данных разрушает старую парадигму различными способами.
Одной из конкретных проблем является классификация по компиляции. Представьте, что сотни неклассифицированных документов содержат отдельные детали военной системы. Кто-то, кто смог собрать все это воедино, может раскрыть важную информацию, которая сама по себе была бы засекречена. На протяжении многих лет считалось разумным предполагать, что ни один человек не смог бы соединить эти точки, но именно это — то, в чем большие языковые модели excel.
С ростом объема данных каждый день и тем, как ИИ постоянно создает новые анализы, “я не думаю, что кто-то смог выработать отличные ответы на то, какой должна быть правильная классификация всех этих продуктов”, — говорит Крис Мутон, старший инженер RAND, который недавно тестировал, насколько генеративный ИИ пригоден для разведки и анализа. Недостаточная классификация является проблемой для безопасности США, но законодатели также критиковали Пентагон за избыточную классификацию информации.
Оборонный гигант Palantir позиционирует себя как помощника, предлагая свои инструменты ИИ для определения того, следует ли классифицировать те или иные данные. Он также работает с Microsoft над моделями ИИ, которые будут обучаться на засекреченных данных.
Как высоко в цепочке принятия решений должен идти ИИ?
Отвлекаясь на мгновение, стоит отметить, что принятие ИИ армией США во многом следовало паттернам потребления. В 2017 году, когда приложения на наших телефонах начали хорошо распознавать наших друзей на фото, Пентагон запустил собственную программу компьютерного зрения, называемую Проект Maven, для анализа footage с дронов и выявления целей.
Теперь, когда большие языковые модели входят в нашу рабочую и личную жизнь через интерфейсы, такие как ChatGPT, Пентагон использует некоторые из этих моделей для анализа наблюдений.
Что будет дальше? Для потребителей это агентный ИИ или модели, которые могут не только общаться с вами и анализировать информацию, но и выходить в интернет и выполнять действия от вашего имени. Это также персонализированный ИИ, или модели, которые учатся на ваших личных данных, чтобы быть более полезными.
Все признаки указывают на то, что военные модели ИИ также последуют по этому пути. Доклад опубликованный в марте Центром безопасности и новых технологий Джорджтауна, выявил рост военного применения ИИ для содействия в принятии решений. “Военные командиры интересуются потенциалом ИИ для улучшения принятия решений, особенно на оперативном уровне войны”, — написали авторы.
В октябре администрация Байдена выпустила свой меморандум по национальной безопасности об ИИ, который предложил некоторые гарантии для этих сценариев. Этот меморандум не был официально отменен администрацией Трампа, но президент Трамп дал понять, что гонка за конкурентоспособным ИИ в США нуждается в большем количестве инноваций и меньшем надзоре. Тем не менее, очевидно, что ИИ быстро поднимается по цепочке не только для выполнения административной рутинной работы, но и для помощи в самых ответственных и срочных решениях.
Я буду внимательно следить за этими тремя вопросами. Если у вас есть информация о том, как Пентагон может решать эти вопросы, пожалуйста, свяжитесь со мной через Signal на jamesodonnell.22.
Эта история изначально появилась в The Algorithm, нашем еженедельном информационном бюллетене о ИИ. Чтобы получать подобные истории первыми в ваш почтовый ящик, подпишитесь здесь.
