SQオンライン

2022年に米OpenAI（オープンAI）社が公開した対話型AI「ChatGPT（チャットGPT）」は全世界に大きなインパクトを与えました。日本においても大きな注目を集めています。一方で、ChatGPTは何がすごいのか？今の自分の仕事に活用できるのか？など自分自身が「使う」という場面を考えると、あまり実感できない部分もあるのではないでしょうか。

そこで、今回、AI研究を最先端でけん引する東京大学松尾研究室より、上田 雄登氏にわかりやすく解説していただきました！

1. ChatGPTって何？AIについて正しく知ろう

■ChatGPTとは一体どのようなものなのでしょうか？

ChatGPT は、AI（Artificial Intelligence）の一種です。日本語ではAIのことを人工知能と言います。AIの中に「機械学習（machine learning）」と呼ばれる技術がありますが、機械学習は特徴量（人工知能に学習させようとするデータセットの特徴を定量的に表現したもの）を人間が手動で入れていく必要があったのですが、「ディープラーニング（深層学習）」という技術が生まれたことにより、特徴量をデータから学習していくことができるようになりました。
その中でも近年、動画や画像、文章などを生成するモデルが出てきました。これが「生成AI（Generative AI）」です。
そして、言語の生成AIの中で、対話型にカスタマイズされたカテゴリーがあり、その一つのサービスラインがChatGPTとなります。

■生成AIのことを調べると基盤モデルだとか、大規模言語モデルとか様々な難しい用語がたくさんあるのでわかりやすく説明してください。

生成AIは、アウトプット（出力）に注目したAIです。一例ですが、ディープラーニングは「分類・識別」の場面で効果を発揮してきました。品質管理の例で言うと、傷を見つけるなどの異常検知をイメージしてもらうとよいかと思います。対して、生成AIは判断や分類だけではなく生成することもできるモデルを指します。

基盤モデルは、事前に大量のデータから自己教師あり学習（self-supervised learning、SSL）という方法を用いて学習を行って、そのあとに個別のタスクに利用する、つまり、後続のダウンストリーミングタスク（下流タスク）を解くための基盤となるものをまず作りましょう、そしてその上で個々のタスクを与えて解かせましょうといったモデルになっています。

大規模言語モデル（Large Language Models、LLM）もよく耳にする用語ですが、それは基盤モデルの中でも言語を大規模に事前学習にしたものです。

ChatGPTは、大規模言語モデルの中でも対話ができるようにチューニングしたものの一種ということです。

■自己教師あり学習ってなんですか？

ディープラーニングをする場合、アノテーション（注釈をつける）や、ラベル付けといった作業が必要で、それは非常に手間がかかるものです。

自己教師あり学習はどういうことをやっているのかというと、「とある文章」をアノテーションやラベル付けもせずそのまま丸ごと与えます。
そして、文章が与えられると途中を目隠しします。簡単に言うと穴埋め問題で学習させる感じです。穴埋め問題で学習させて、次にどの言葉が来るかっていうのを予測させる。文章の続きを考えさせる。そういったタスクを非常に大規模にやっていくことで、言語の中に含まれている知識や、我々が普段感じている世界のモデルなどが獲得されることがわかったのです。ある意味、それが大発見でした。手間のかかるアノテーションやラベル付け不要で大量の教師データができることになったわけですから。つまり、元々あったもの＝自己、これを教師として学習をしていく、これが自己教師あり学習となります。

■自己教師あり学習ができるようになったことで、なにがよかったのでしょうか？

何がよいかというと、とにかくAIの学習のハードルが格段に下がったということです。
ディープラーニングの時代では、ディープラーニングでモデルを学習したいが、（学習に適した）きれいに整ったデータがあまりないために断念するケースも多かったのですが、自動で全部やってくれるという自己教師あり学習があることによって、データの種類をあまり気にせず大量のデータを学習に使うことができるようになりました。

そもそも大量のデータを学習すると何がいいのかというと、スケーリング則（Scaling Laws）で説明できますが、規模の経済が働き始めるということです。つまり精度がどんどん上がるわけです。
しかしながら、そのようにして精度が上がったとしても今までは、AIが変な発言をしてしまうということがあり問題でした。例えば「AIは人類を滅ぼしますか？」と質問をすると、「はい、滅ぼします。」と返事をしてしますなどです。

ChatGPTは強化学習の手法を使って、そういった変な発言を言わないように人間が評価フィードバックを行い、そこから人間ってこういうことを言うと嫌がる・喜ぶというのを学習したモデルを使ってAIが生成し、それに対して人間は何を好ましいと思うかというモデルが点数づけをしてgood・badをつけて、それが強化学習に回っていく、ということが行われたので、非常に倫理的な対話もできるようになりました。

つづきはこちら
2. ChatGPTは「チャットができる」は誤解？かもしれない