This post is also available in: English (英語)

概要

Unit 42のリサーチャーは、ChatGPTに関連するトレンド トピックや新規登録ドメイン、スクワット ドメインをモニタリングしています。ChatGPTが史上もっとも急成長中のコンシューマー アプリケーションの1つだからで、このサービスとの関連を匂わせる文言やドメイン名を使ってひと儲けしたい詐欺師たちをも引きつけてしまうのが、人気の影の部分といえるでしょう。

私たちは、2022年11月から2023年4月上旬にかけ、ChatGPTに関連するドメインの月間登録件数が910%増加していることに気づきました。この同じ期間、DNS Securityのログからは、これと関連するスクワット ドメインが17,818%増加したことを確認しています。また、弊社のAdvanced URL Filteringは、1日最大で118件、ChatGPTに関連する悪意のあるURLを検出していることを確認しています。

本稿では、詐欺師が言葉たくみにユーザーにマルウェアをダウンロードさせようとしたり、機密情報を共有させようとしたりするのに使ったさまざまな手法を、ケース スタディとともに紹介します。OpenAIが2023年3月1日にChatGPTの公式APIを公開したことで、これを利用した不審な製品が増えています。そのため本稿は、模倣チャットボットの利用がもたらす潜在的な危険に光を当てることで、ChatGPTのユーザーが、これらのチャットボットに十分用心して接することができるようにしたいと考えています。

パロアルトネットワークスの次世代ファイアウォールとPrisma Accessをご利用のお客様で、Advanced URL FilteringDNS SecurityWildFireのセキュリティ サブスクリプションをお持ちの方は、ChatGPT関連の詐欺からの保護を受けています。これらのセキュリティ サービスでは、本校で言及したすべての悪意のある指標(ドメイン、IP、URL、ハッシュ)をカバーしています。

関連するUnit 42のトピック Phishing, Cybersquatting

ChatGPTをテーマとする不審なアクティビティの動向

OpenAIが人工知能分野でもっとも有名なブランドの1つとなるべく急成長を始めたころ、脅威アクターがドメイン名に「openai」や「chatgpt」を使用したスクワット ドメインを登録し、野生で(in-the-wild)使う事例が複数確認されました(例: openai[.]usopenai[.]xyzchatgpt[.]jobsなど)。これらのドメインのほとんどは、2023年4月上旬時点では悪意のあるコンテンツをホストしていませんが、OpenAIやほかの本物のドメイン管理会社によって管理されていないことが気がかりです。これらの悪用による損害は、いつおきてもおかしくありません。

図1は、ChatGPTの公開後、ChatGPTに関連するスクワット ドメインが登録された数の推移を示したものです。この調査期間において、1日あたりのドメイン登録数が大幅に増加していることに私たちは気づきました。Microsoftが2023年2月7日に新しいバージョンのBingを発表した直後、ChatGPTに関連するドメインが300件以上登録されました。

画像1は、ChatGPT関連のスクワット ドメイン数を時系列で示したグラフです。このグラフは2022年12月1日から2023年4月1日までの記録です。登録数がもっとも多かったのは、2023年2月に新しいBingが公開されたときで、その数は300件を超えていました。
図1. ChatGPT関連のスクワット ドメインの登録数の動向

図2はDNS Security製品からのログです。ここでもChatGPTの認知度と人気が高まるにつれてログが大幅に増加するという同様のパターンが見られます。

画像2はChatGPT関連のスクワット ドメインへのDNSリクエスト数を時系列で表したグラフです。このグラフは2022年12月1日から2023年4月1日までの記録です。2023年3月のAPI公開で急増し、その後、ChatGPT 4の公開でふたたび盛り上がりが見られます。
図2. ChatGPT関連スクワット ドメインのDNSトラフィックの推移

また私たちはAdvanced URL Filteringのトラフィックのキーワード検索も行いました。図3には、OpenAIがChatGPT公式APIとGPT-4を公開した日、大きなスパイクが2つ発生しているようすが示されています。

画像3は「ChatGPT」をキーワードとしたさいの検出回数のグラフです。2023年3月に大きなスパイクが2つあり、さらに3月後半、ChatGPT 4のリリース時のスパイクが1つあります。
図3. 「ChatGPT」をキーワードにして見つかった悪意のある検出の動向

ChatGPT詐欺のケース スタディ

調査中、OpenAIの公式サイトを装ったフィッシングURLが複数確認されました。通常、詐欺師はChatGPT公式サイトの外観を忠実に模倣した偽サイトを作成し、ユーザーを騙してマルウェアをダウンロードさせたり、機微情報を共有させたりします。

たとえば図4は、詐欺師がマルウェア配信でよく使う手法を示しています。このページはユーザーに[DOWNLOAD FOR WINDOWS]というボタンを表示します。ユーザーがこのボタンをクリックすると、そのリスクに気づかぬまま、トロイの木馬のマルウェア(SHA256:ab68a3d42cb0f6f93f14e2551cac7fb1451a49bc876d3c1204ad53357ebf745f)をデバイスにダウンロードしてしまいます。

画像4はChatGPTの公式サイトを模したサイトのスクリーンショットです。このWebサイトは、エンド ユーザーにマルウェアを配信します。
図4. マルウェアの配信: chat-gpt-online-pc[.]com
また、詐欺師らは、ChatGPTに関連するソーシャル エンジニアリングを利用し、個人識別情報の窃取や金融詐欺を行う可能性もあります。OpenAIは無料バージョンのChatGPTをユーザーに提供していますが、詐欺師は被害者を詐欺サイトに誘導し、サービス利用には支払いが必要と主張します。たとえばChatGPTの偽サイトは、被害者をだましてクレジット カードの詳細や電子メール アドレスなどの機密情報を提供させようとします(図5)。

画像5は、暗号通貨詐欺の例を示すスクリーンショットです。脅威アクターがオンライン決済フォームを通じ、機密情報を収集しようとしています。このスクリーンショットでは、オンライン決済フォームのほか、ChatGPTを模倣したURLも表示されています。
図5. 金融詐欺: pay[.]chatgpt-oracle[.]com
また私たちは、OpenAIの人気につけこんで暗号詐欺をはたらく詐欺師も発見しました。図6は、詐欺師がOpenAIのロゴとElon Musk氏の名前を悪用し、暗号通貨の懸賞イベントに集客している例を示したものです。

画像6は、OpenAIのWebサイトを模倣した暗号通貨詐欺のスクリーンショットです。この図にはElon Muskの写真があり、「BIGGEST GIVEAWAY CRYPTO OF $100,000,000」というタイトルがつけられています。エンドユーザーの参加をうながすボタンもあり、参加方法も書いてあります。
図6. 暗号通貨詐欺: x2chatgpt[.]org

模倣チャットボットのリスク

ChatGPTが今年もっとも人気のあるアプリケーションの1つとなった一方で、これを模倣するAIチャットボット アプリケーションも市場に登場してきました。これらのアプリケーションの中には、独自の大規模言語モデル(LLM)を提供しているものや、3月1日に発表された公開APIを通じてChatGPTサービスを提供しているとするものがあります。ただしこれら模倣チャットボットの利用はセキュリティリスクを高めるおそれがあります。

ChatGPTのAPIがリリースされる前は、さまざまな自動化ツールでChatGPTに接続できるオープンソース プロジェクトが複数ありました。特定の国や地域ではChatGPTにアクセスできないことから、これらの自動化ツールやAPIで作成されたWebサイトは、こうした地域からかなりの数のユーザーを呼び込む可能性があります。またこの状況は、脅威アクターらに、ChatGPTのサービスをプロキシーすることでマネタイズの機会を与えます。たとえば、以下の図7a、図7bは、有料チャットボット サービスを提供する中国のWebサイトを示したものです。

画像7aはチャットボットサービスの画面です。中国語で表記されています。
図7a. 有料チャットボット サービス(中国語): chatgpt[.]appleshop[.]top
画像7bはチャットボット サービスの画面です。中国語から英語に翻訳されています。
図7b. 有料チャットボット サービス(中国語から英語への翻訳): chatgpt[.]appleshop[.]top
無料で提供されているかどうかにかかわらず、これらの模倣チャットボットは信頼に足るものではありません。多くはGPT-3 (2020年6月公開)をベースにしており、最近のGPT-4やGPT-3.5と比べると性能が劣ります。

さらにこうしたチャットボットの利用にはもう1つ大きなリスクがともないます。提供された入力は収集され、窃取されかねないのです。つまり、機微情報を提供すれば危険な目に遭うおそれがあります。また、チャットボットの回答が改ざんされ、誤った回答や誤解を招く情報が提供される可能性もあります。

たとえばスクワット ドメインのchatgptforchrome[.]comには、ChatGPTのChrome機能拡張を紹介するページがホストされています(図8)。このページはOpenAIの公式な機能拡張から得た情報や映像を使っています。

[Add to Chrome]リンクは別の拡張機能のURL、chrome[.]google[.]com/webstore/detail/ai-chatgpt/boofekcjiojcpcehaldjhjfhcienopmeにつながりますが、正規のURLはchrome[.]google[.]com/webstore/detail/chatgpt-chrome-extension/cdjifpfganmhoojfclednjdnnpooaojbでなければいけません。

図8に示した「AI ChatGPT」の拡張機能(SHA256: 94a064bf46e26aafe2accb2bf490916a27eba5ba49e253d1afd1257188b05600)をダウンロードすると、これは被害者のWebブラウザーに隠しスクリプトを追加することがわかりました。このスクリプトには、高度な難読化を施したJavaScriptが含まれていました。このJavaScriptを分析したところ、このスクリプトはFacebook Graph APIを呼び出し、被害者のアカウント情報を盗み出し、さらにFacebookアカウントにアクセスする可能性があることがわかりました。ほかのリサーチャーも、悪意のあるブラウザー拡張機能を使う同様のキャンペーンを報告しています。

画像8はChrome用のChatGPT拡張機能「ChatGPT extension for Google」をうたう機能拡張のスクリーンショットです。ただしこのブラウザー拡張はアカウント情報窃取を目的にしています。この機能拡張には「response alongside search engine results」と見出しがあり、評価が5つ星で示され、「Trusted by 600,000+ users」と書かれています。Google Chromeに機能拡張を追加するボタンがあります。また、YouTube動画のスクリーンショットもあります。
図8. 「ChatGPT Extension - ChatGPT for Google」拡張機能: chatgptforchrome[.]com

結論

ChatGPTの世界的人気を受け、詐欺師らは同サービスに狙いを定めています。ChatGPTに関連する新規登録ドメインやスクワット ドメインは大幅に増加しており、詐欺師がこれらを悪用するおそれがあることが確認されています。

安全を期すため、ChatGPTのユーザーはChatGPT関連の不審メールやリンクに慎重に対応すべきでしょう。模倣チャットボットの使用もさらなるセキュリティ リスクをもたらします。利用時はかならずOpenAIの公式サイトからChatGPTにアクセスする必要があります。

パロアルトネットワークスの次世代ファイアウォールとPrisma Accessをご利用のお客様で、Advanced URL FilteringDNS SecurityWildFireのセキュリティ サブスクリプションをお持ちの方は、ChatGPT関連の詐欺からの保護を受けています。これらのセキュリティ サービスでは、本稿で言及したすべての悪意のある指標(ドメイン、IP、URL、ハッシュ)をカバーしています。

謝辞

本ブログで使用したデータ ソースとサンプルは、Nabeel Mohamed氏、Sehroze Farooqi氏、Shresta Bellary Seetharam氏にご提供いただきました。ありがとうございました。本稿の推敲に助言とご協力をいただいたJun Javier Wang氏、Alex Starov氏、Harsha Srinath氏、Laura Novak氏、Daniel Prizmant氏、Erica Naone氏にもこの場を借りてお礼申し上げます。

IoC

スクワット ドメイン

  • openai[.]us
  • openai[.]xyz
  • chatgpt[.]jobs

ChatGPT詐欺

  • chat-gpt-online-pc[.]com
  • ab68a3d42cb0f6f93f14e2551cac7fb1451a49bc876d3c1204ad53357ebf745f
  • pay[.]chatgpt-oracle[.]com
  • x2chatgpt[.]org

チャットボット

  • chatgpt[.]appleshop[.]top

Chrome拡張機能

  • chatgptforchrome[.]com
  • chrome[.]google[.]com/webstore/detail/ai-chatgpt/boofekcjiojcpcehaldjhjfhcienopme
  • 94a064bf46e26aafe2accb2bf490916a27eba5ba49e253d1afd1257188b05600
Enlarged Image