4回目となる今回は、新しいテクノロジーのリスクとしての人工知能(AI)を取り上げます。まずは、AIを社会的・政治的視点のメタレベルから見つめ直した後、サイバーセキュリティーの観点からリスクの内実を見てみようと思います。
いつものように、素材はISFのメンバーによるエッセーを借りることにしますが、トップバッターは気鋭のアナリスト、マイク・ヨーマンズの登場です。
人工知能(AI)は新たな核兵器か?
Mike Yeomans (ISF:シニア・アナリスト)(出典:ISF Blog 2020年11月25日、訳:小原)
データは新しい石油、在宅勤務は新たな行動規範、ソーシャルメディアは新しい報道プラットフォーム。AIは、さしずめ新たな核兵器というところだろうか?
フィナンシャル・タイムズ紙の優れた記事 "Is AI finally closing in on human intelligence?"(「AIはついに人間の知性に迫るのか?」、リンク先を読むには購読契約が必要)では、GPT-3(Generative Pre-trained Transformer 3)で自然言語処理について大きな前進があったことに光を当てています。GPT-3は、文法的に正しく、実に筋の通った文章を作成します。45テラバイトのデータ(人間が死ぬまでに読む単語数の450億倍)を習熟しており、2017年にAIが創作した「ハリー・ポッターと巨大な灰の山のように見えた肖像画」(Botnik Studios)は、文法は正しく(また面白く)てもチンプンカンプンであったことからすると目覚ましい進歩です(参照:https://botnik.org/content/harry-potter.html)。
汎用的なAIの実用化はまだ先だが、目覚ましい進歩
GPT-3はOpenAIが作成しており、イーロン・マスク、リード・ホフマン(LinkedInの創設者)、そして最近ではマイクロソフトからも出資を受けています。チェスをする「AI」ディープ・ブルーのように、一つか二つのタスクだけをこなせる高度なロボットではなく、人間の知覚を持つとも言える洗練された汎用AIを目指した開発が進んでいます。まだ到達してはいませんが、OpenAIが目指しているのはそこです。
AI開発の課題は依然として残っており、ほとんどのシステムはまだ見せ掛けのAIで、自動補完(autocomplete)ツールに過ぎません。つまり、AIは過去に分析されたデータの統計分析に基づいて、書き手が言いたいことを正確に予測しますが、違う視点で考えたり、事前にプログラムされた組み合わせ以外の質問に対する答えを用意したりすることはできません。言い方を変えれば、AIは多くを知っていても、考えることは全くできないのです。
AIが作り出すものは、何でも過去(またはAIにとっての過去)に基づく予測です。つまり、大量に増え続けるAIの判断は、AIを訓練するデータを選び、さらに言えば何を真実と信じるかを決定する者によって、事前に決定されていることを意味します。これによって治安問題を起こそうと、データセットをもて遊び、人々のバイアスを増幅させ、人種差別的な外国人排斥の罵声を上げさせることもできます。いいえ、もっと不吉な兆しが待ち受けているのです。
AI軍拡競争はスタートが切られているものの、審判員は不在
ますます多くのことが自動化されて、アルゴリズムによって生活がきちんと維持されるのは悪いことではありません。より生活にゆとりができて楽になるのですから。ですが、アルゴリズムの管理が適切でないとなると、心配の種となります。超富裕層だけがAI(企業や国家さえも)を手に入れられるという状況の中、ハイテク貿易戦争が激化しており、またFAANGs(Facebook , Amazon, Apple, Netflix, Google)のような業界のリーダーも時に手に負えないように映ることもあります。懸念すべき本当の因子がここにあります。
国際連合(UN)設立後の60年ほどでしょうか、グローバルな規範やルール(特に平和と安全のための規則)は、核兵器保有国である国連安全保障理事会の常任理事国5カ国がもっぱら中心となって決めてきました。彼らだけが(後に、ほんの一握りの国を加えたものの)最終兵器を製造し維持することができたことによって、世界を動かすルールを決めたのです。世界秩序はまだそのままですが、コンピューティングとサイバーがこの実態を変え始めています。
ごく最近まで、米国はサイバーの世界で独り勝ちの状況で、法規範やフレームワークを決定してきました。米国は最も攻撃的なサイバー能力を保有し、現代のコンピューティング言語の大部分を開発し、コンピューターが作動するオペレーティングシステムのほぼ全て(Windows, iOS, Androidおよび Linux)を製作しています(最後の二つはオープンソースですが、主要な開発者のほとんどは米国在住であり、米国の規範、文化、法令に従っています)。
他方、他国もサイバー能力や技量を伸ばしており、この4年間に起きた貿易戦争によって加速しています。HuaweiのHARMONY OS本格展開によって、やがて約30億人が米国製コードによらないデバイスを使うことになりますし、他方、欧州連合の一般データ保護規則 (GDPR)が世界中のコンピューティング行動を変えたことも否定できません。ところが、これらはほんの端緒に過ぎません。
コンピューターがつながるサイバースペースでは、国連発足時の1945年には想像されなかった方法で各国が接続されています。今や加盟国のリスト削除や登録は、文字通りケーブルを切断したり、国全体のIPアドレスを追加したりすれば理論的にはできます。とは言え、こうしたことは現実には起こり得ないでしょうから、各国の国境をまたぐ活動(ビジネスや通信の干渉から、選挙介入や産業スパイ活動まで)は、続いていくように思われます。最良のツールを持つ国々が、したいように世界を形作るのです。このことに気付いた世界の国々は、デジタル「非核保有国」となってしまわないよう懸命に活動しています。
こうした中で、AIは、極めて危険な武器とみなされる可能性があります。自国内でも、国家間においても、です。アルゴリズムはすでに、人々がどのような情報に接してよいのか(スパムフィルター)、何を買うべきなのか(宣伝広告)ばかりではなく、ビジネスクラスでの旅行が社会的に許容されるかどうかさえも決定しています。意思決定が自動的に行われる範囲は、テクノロジーが私たちの生活に浸透してくるにつれて広がっていくばかりでしょう。

AIは絶対的な権力を産むのか?
このようなやり方で権力を振るうのは、今に始まったことではありません。権力は常に銃身に宿りますが、同様に、情報の流れを操ることができる者も人を従わせて権力の座に就いてきたのです。ヴェストファーレン条約国家は軍隊を組織しましたし、現代国家は核兵器を保有しています。私企業であっても統治する者のための規則を定めてきました(シティ・オブ・ロンドン自治体や東インド貿易会社をみれば自明でしょう)。新しい点があるとすれば、およそ組織にとって剣や銃を取る兵士を配置するのはもはや無用ということ。意思決定の自動化と相互接続社会が意味することは、オンラインの世界で起こったことが物理的な世界における実際の行為に変換できるということです。人類が機械学習と自動化に依存すればするほど、そうしたシステムを管理してプログラミングする人々への依存度も高まるのです。
ということは、知覚を持ったAIが、(映画の)ターミネーター流に人類を絶滅の危機に向かわせていることを意味しているのでしょうか。そうではないでしょう。人類は、従来型の高高度航空機を改良しただけでは月に到達できなかったわけですし、AIの進歩、と言っても実のところ順調ではないのです。結局のところ、汎用AIが完成するには、思考法や開発面において完璧なパラダイムシフトが必要、と言ってもいいでしょう。そうですね。(The Hitchhiker's Guide to the Galaxy)を書いたダグラス・アダムスの名言『コンピューターよ、お前がもし開かないのなら……この瞬間に、わしは……でっかい斧(おの)でお前を再プログラムしてやらねばなるまい』を思い出してもいいかもしれません。一方で、GPT-3に代表されるテクノロジーの進歩が強く示唆しているのは、AIマシンをプログラミングしていく者にとって好都合な断層のずれが起きているということであり、グローバルな社会政治的な秩序に決定的な影響を与えるということです。
激しい技術覇権競争の中、全てのものが「スマート」になる傾向にあることを考えると、AIは、新たな大陸間弾道ミサイル(ICBM)である、と言ってもよいでしょう。AIに操作された攻撃では、地球の裏側であっても大惨事が引き起こされ得るのです。政府や民間企業がこのような究極の権力を振りかざすという事態は目新しいことではありませんが、AIとデジタル化が広範囲に社会経済や政治に甚大な混乱をもたらすこと、それに伴って、過去70年からの権力分配構造が変化しやすくなることは間違いないでしょう。この混乱は勝者も敗者も生みます。
AIは人類にとって利益を生む機会となりますが、政府、企業、そして個人によって注意深く制御されないとすれば、富の格差が広がり、権力は無責任な者の手に握られて、害悪が善に勝ることもあり得るでしょう。こうした見通しは、希望のないものに映りますが、必ずそうなると決まってはいません。核兵器は世界の終末を招く危険性をはらむ一方、国家間の恐ろしい戦争を防ぐのに役立ってきました。AIは人類に利益をもたらし、生活を改善する可能性の一方、害悪を及ぼす恐れもあるでしょう。問われるべきは、この混乱がもたらす変化が確実に世界に有利に働くために、あなたやあなたの組織は何をするかということです。
・私たち実務家も、決められたルールを守るコンプライアンスでは間に合わないという状況で、慎重な制御やひいては規範づくりに向かって、参画していくべきだ、というのは改めて新鮮な指摘だと感じました。「先回りしたコンプライアンス」という、ややぎこちない表現が頭に浮かびます。企業という法人格の中で生身の人間が判断したのか、線でつながった先のどこかで全知の機械であるAIが愚断を下した結果なのか。企業が自社の競争力を高める中で、どのようにAIを使うと、どのような外部不経済が起き得るのか、について、時間軸を延したり第三者の視点を織り込んだりして社会的な文脈でもいろいろと考えておく必要がありそうです。
・また一方で、AIを手に入れて浮き立つ我々のココロの隙間を狙って、素早くはびこるのは悪者というのも定石通り。攻撃者が出てくると、サイバーセキュリティー志士の出番です。「AIでサイバー攻撃に油を注ぐ無法者」に立ち向かうセキュリティーの剣法やいかに。Steve DurbinによるAIとセキュリティーに関する記事を見て考えを進めてみたいと思います。
AIでサイバー攻撃に油を注ぐ無法者
Steve Durbin(ISF:マネージング・ディレクター、フォーブス:ビジネス・カウンシル・メンバー)(出典:Forbes 2020年10月13日、訳:小原)
人工知能(AI)が主流に踊り出るにつれ、AIの能力や潜在的なリスクについて、多くの虚報や混乱が巻き起こっています。全てを知る機械の足元に人間がついえるという陰惨な展望が、情報セキュリティー文化に広まっています。一方で、多くの人々は、良くできたAIがもたらしてくれるはずの改善や洞察力を察しています。
コンピューターシステムは、学んで、論理的に考えて、行動できますが、まだ黎明(れいめい)期にあると言えるでしょう。機械学習のためには、膨大なデータセットが必要です。現実世界で動く多くのシステムには、無人運転乗用車がそうであるように、コンピューター制御の物理的な視覚センサー、リアルタイムの意思決定のための複雑なプログラミング、そしてロボット工学の複雑な調和が必要となります。AIを採用する企業は、導入は比較的たやすいとしても、AIに情報にアクセスを許して一定の自由を与えるとなると、深刻なリスクも考慮しなければなりません。
AIが引き起こすリスクとは?
AIシステムにおいて、想定外のバイアス(偏り誤差)が生じるのは一般的なことです。プログラマーやデータセット方法によっては、バイアスが固定してしまう可能性もあります。こうしたバイアスが不幸にも偏見を産み、差別につながるようなことがあれば、法的な効果や風評被害が発生する恐れもあります。また、AI設計の欠陥によって、(訓練データのノイズまで拾う)過剰適合や(訓練データの予測もできない)過少適合につながる可能性があり、そのことによって、AIは、あまりにも特異的な意思決定、または一般的過ぎる意思決定を行ってしまいます。
これらのリスクはいずれも、設計段階でAIシステムを厳密に試験し、システム運用に当たっては、システムを注意深く監視する人間による監督体制を確立することで軽減できます。つまり、意思決定能力を測定・評価し、新たなバイアスや疑わしい意思決定に迅速に対処することが必要なのです。
これらの脅威は、設計や実装における意図しないエラーやミスによるものですが、人が意図的にAIシステムを破壊しようとしたり、AIシステムを武器として巧みに操ったりすると、異なるリスクが発生します。
攻撃者はどのようにAIを操るのか?
AIシステムをポイズニング(偽データで操作)することは、驚くほど簡単にできます。攻撃者は、AIを訓練するために使用されるデータセットを操作し、パラメータに微妙な変更を加えたり、疑念を抱かせないように慎重に設計されたシナリオを書き込んだりしながら、徐々にAIを望みの方向にかじ取りしていきます。攻撃者がデータセットにアクセスできない場合、攻撃者は回避手段を取って、入力を改ざんし、ミスを強制させます。入力データを部分的に変更して適切な識別を困難にすることで、AIシステムに誤分類を起させることができるのです。
データや入力の正確性をチェックすることは不可能かもしれませんが、信頼できるソースからデータを収集するためにあらゆる努力をするべきでしょう。異常を識別する仕組みをOSに組み込んだり、AIが悪意を持った入力を認識できるよう敵対的な事例を認識させたり、問題発生時には簡単にシャットダウンできるセーフガードメカニズムでAIを隔離したりする必要があります。
より困難な、取り組むべき課題は推論工程にあります。攻撃者はAIシステムをリバースエンジニアリング(逆行分析)して、AIを訓練するためにどのようなデータが使用されたかを突き止めようとします。これによって、攻撃者は意のままに、機密データにアクセスしたり、ポイズニングのお膳立てをしたり、AIシステムを再現したりできるでしょう。
AIをどうやって兵器にするのか?
サイバー犯罪者は、AIを使って、ソーシャルエンジニアリング(詐欺)攻撃の規模を拡大し、効果を高めることもできます。AIは、学習により、人々の行動のパターンを見抜き、ビデオや電話あるいはメールを正当なものと確信させる方法を習得し、さらにはネットワークに不正アクセスさせて機密データを引き渡すように説得できます。AIの助けを借りれば、サイバー犯罪者が用いる詐欺のテクニックは全て、見違えるほど精妙になるでしょう。
また、AIを使えば、ネットワーク、デバイス、アプリケーションに発生した新たな脆弱(ぜいじゃく)性を特定することも可能です。またハッカー連中に対して、狙いどころをどんどん教えてしまうので、情報の安全性を維持する仕事は格段に難しくなります。こうした脅威に対抗するには、ネットワーク上の全てのアクセスとアクティビティをリアルタイムで監視し、迅速なパッチ適用を行うことが不可欠です。このような場合は、目には目を歯には歯を、ということが最善の方針になるかもしれません。
AIを活用して企業のセキュリティーを強化するには?
AIは、ネットワーク監視と分析に非常に効果的であり、通常の動作とは何かのベースラインを確立するので、サーバーアクセスやデータトラフィックでの異常値には即座にフラグを立てることができます。侵入を早期に検知することで、被害を最小限に抑えるチャンスを最大化できるのです。また最初は、AIシステムが異常を検知してIT部門に警告を出し、IT部門が調査できるようにするのが最善かもしれませんが、AIが学習して上達するにつれて、AIに権限を与えて、脅威自体を無効化してリアルタイムで侵入をブロックすることができるでしょう。
AIが通常の動作をモデル化して学習するのは、ユーザーがシステムとやりとりする方法、脆弱性やマルウェアを認識する方法、新たな脅威の構成要素の解析法などがありますが、同様に、効果的なアラートを発するタイミングを学習することもできます。データセットが増大して、意思決定に対するフィードバックが増えるにつれて、AIはより多くの経験を積み、ネットワーク防御のタスクをより上手にこなすようになるでしょう。
情報セキュリティーのスキルを持つ人員が大幅に不足している状況で、負荷の一部を肩代わりするAIシステムがあれば、限られたスタッフが複雑な問題に集中でき、メリットとなります。企業がコスト削減に目を向ける中、人間の代わりとしてのAIの魅力度が、がぜん高まっています。AIは、経験とともに改善されて、大きなメリットをもたらすようになるでしょうが、先見の明のある企業は、今すぐにAIの持つ潜在的なリスクを軽減する計画を立てるべきです。
・セキュリティーチームから見たAI、AIを使ったセキュリティー。具体的な計画に落としていく時期にあるのかもしれません。実際にAIを企業内で使う際には、(1)AIについての再整理、(2)AIが引き起こす情報リスクと対応策、(3)AIを活用した防御策、の再整理をセキュリティーチームでしたうえで、企業全体での調整が必要になろうかと考えます。関心ある方は、ISFのレポートをダウンロードしていただければと思います。
Demystifying Artificial Intelligence in Information Security
・いずれにしても、セキュリティーチームの課題は、いかに適切な意思決定を安価に行えるか、という点に尽きると考えます。
・プレッシャーの中でリソース配分の優先順位をどうするか、情報リスクの管理水準をどうするか、サプライチェーンの耐性はどうか、さまざまな国の種々のスタンダードへの準拠をどうやって管理するか――「スマート」な判断が求められています。手前みそですが、世界の主要企業で長年使い込まれてきた評価・保証ツールは、一度検討していただくことに値するかもしれません。最新版のツールスイートに関するエクゼクティブサマリーはこちらからダウンロードできます。
ISF Aligned Tools Suite 2020 - Information Security Forum