こんにちは

エンジニアの上本です。

9月25日、27日にChatGPTがアップデートされました。

早速触って見ましたので、今回はそのアップデート内容と設定方法、Advanced Data AnalysisやBardと比較した結果をお伝えします。

アップデート内容

アップデートの内容ですが、公式のリリースノートに次のように記載されています。

New voice and image capabilities in ChatGPT (September 25, 2023)
We are beginning to roll out new voice and image capabilities in ChatGPT. They offer a new, more intuitive type of interface by allowing you to have a voice conversation or show ChatGPT what you’re talking about. Learn more here.
Browse is rolling back out to Plus users (September 27, 2023)
Browse is rolling out to all Plus users. ChatGPT can now browse the internet to provide you with current and authoritative information, complete with direct links to sources. It is no longer limited to data before September 2021.

• 2023年9月25日: 音声と画像の新機能
• 2023年9月27日: インターネットのブラウジング機能

がChatGPT Plusユーザに向けて提供されたとのことです。

画像と音声の新機能

まずは、9月25日にアップデートされた画像と音声に関する機能です。

こちらは「画像の入力」と「音声を使っての会話」の2つのアップデートがあるのですが、後者は現時点で私の端末で利用できませんでした。

画像の入力

ChatGPTのモデルを「GPT-4」にすると、プロンプト入力欄に画像のボタンが追加されていました。

ここで画像を指定することで、画像に何が写っているのかを認識し、その情報をもとに指示をすることが出来ます。

画像の中身を説明してもらう

手始めにどの程度画像の内容を識別出来るのか試してみます。

暗い画像で、更に陰っている場所にいる猫も識別したうえで周囲の状況も細かく説明されています。

献立を考えてもらう

続いて、リリースノートにある献立を考えてもらう例を試してみます。

我が家の冷蔵庫の中身では何も作れないので、ネットで拾った冷蔵庫の画像で朝の献立を考えてもらいます。

冷蔵庫にありそうなものでメニューを考えてくれました。

足りなさそうなものがあったので確認します。

しっかり冷蔵庫の中を認識してピックアップしてくれますね。

他にも足りなさそうなものがありますが、画像を複数渡すことで精度は上がりそうです。

カメラが搭載されているIoT冷蔵庫は既に市場に出ているので、アップデートで庫中のものがリスト化されたり、その情報をもとに献立の提案や少なくなっているものの通知といった機能が提供される未来は近そうですね。

インターネットのブラウジング機能

続いて、9月27日についかされたインターネットのブラウジング機能を見ていきます。

Bingの検索結果やURLを直接指定してWEBサイトの内容を取得し、回答に利用する機能になります。

有効化

この機能はベータ機能であるため、設定から有効化する必要があります。

1. ChatGPTの画面左下にある自分のアカウントをクリック
2. [プラス設定&ベータ]をクリック
3. [ベータ機能]タブをクリック
4. [Bingで閲覧]をクリックして有効化

総理大臣を聞いてみる

最新情報を確認するいつもの質問を行ってみます。

菅義偉さんの後任の菅義偉さん・・・

参考URLをたどると「 Fumio Kishida is the current prime minister of Japan, replacing Yoshihide Suga on 4 October 2021.[4] As of 27 September 2023」にマーカーが引かれています。

情報のを発見したものの、うまく解釈出来なかったのか、返答する際におかしくなってしまったのでしょうか。

質問を「現在の日本の総理大臣はだれですか？」に変更したところ正しい情報が返ってきました。

質問の仕方が良くなかったのでしょうか？

比較してみる

今回のアップデート内容ですが、実は同じChatGPTでもPlusユーザであればWebPilotというプラグインを使うことで実現でき、Google Bardであれば既に搭載されている機能でした。

折角なのでいくつか命令して、結果を比較してみました。

三者ともに正しい結果が出ました。

こちらは大きく差が出ました。

ChatGPT(Web Browsing)はBingにて英語で検索をしているためかタイトルが英語になっていて、3つしかあげてくれませんでした。

最後は我が家の猫で、左がジェネッタ、右がスコティッシュフォールドです。

画質が悪いながらもしっかり判定してくれてます。ジェネッタは比較的新しい猫種でマイナーなため出てきませんでしたが、GPT-4はベンガルと答えているので惜しいです。

まとめ

使ってみた感想としては、最新情報を得るならChatGPT+WebPilotプラグインかBardに軍配。画像については、どちらも大きく差はないかなと感じました。

指示の仕方によっても回答は変わるので、色々試して行きたいと思います。