記事一覧

[英語看板レスキューただよし]画像認識チャットボット

ChatGPT-4 はアプリのように使えるチャットボットを作成することができます。今回は日本で見かけるおもしろ英語看板を評価して提案してくれるチャットボットを作った例を紹介したいと思います。

なお、無料ユーザでも使用できます(回数制限あり)。ChatGPT plus(有料契約)では使用と作成できます。

はじめに

私、英語コーチMaxの動画「ChatGPT(GPT-4V)でチャットボットを簡単に作成する方法」を元に、ChatGPTを使った英語看板評価チャットボットをご紹介します。

きっかけは人気Youtube Kevin’s English Room の人気企画「日本の街中にある英語の看板が間違いだらけすぎるww」(現時点5本ある)に触発されたことです。
意味不明だったり、笑っちゃう英語が紹介されています。これをChatGPTで実現したら面白いんじゃないかとやってみました。

ChatBot

ChatGPT-4ではGPTsと呼ばれるアプリのようなチャットボットを作ることができます。
作成したGPTsはOpenAIのサイトに登録して全世界に公開することもできます。

「チャットボット(chatbot)」とは「チャット」と「ボット」を組み合わせた言葉で、人工知能を活用した「自動会話プログラム」のことです。すでに色んなサイト(ECサイト、証券会社とか)で質問を受け答えする、自動応答とかで導入されています。この場合は時間とそれなりのお金をかけてきちんと作り込まれているかと思います。

今回はそれをChatGPTだけで画像解析で簡易的にやってみましょう。

やりたいこと

英語看板を評価する

最近、外国人観光客を多く見かけるようになりました。インバウンド需要は大きくなってきています。
そのためか、お店の看板や指示が英語バージョンが急ごしらえで追加されていることがあります。

いままでは店内のポスターや注意書きは日本語のみでよかったのに、外国人のためにはちょっとした英語のフレーズでお知らせしたいですよね。
また、仕組みのよくわからない外国人に直接、説明、応対するのも手間がかかる。だったら最初から注意書きが英語であればいいじゃんない?
おもてなしの心です。そこで英語フレーズを作って店内に貼ってみた。いけてるやん。と思ってもきちんと通じていない場合もある。

前述したYoutubeではそういったポスターや看板、メニューを見て面白く解説してくれてます。

今回は、それをChatGPTにアドバイスしてもらうのはどうだろうということです。

やること

要件

  • User
    1. 英語看板をカメラ撮影、または写真をアップロードする。
    2. 必要に応じて、状況説明などのテキスト入力追加する。
  • ChatGPT
    1. 英語メッセージの誤りを解説する。
    2. 英語話者に通じるような修正案を提案する。
    3. 回答にはユーモアを入れる。

ChatGPT-4には画像解析の機能がありますので、画像をカメラで取り込む、または写真をアップロードすると、テキスト化してメッセージを取り出すことができます。もちろん手入力してもOKです。

GPTs

GPTsとは、ChatGPTをカスタマイズできる機能で、OpenAI公式や、拡張機能供給元がGPT Storeに公開したりしています。また個人でもオリジナルのチャットボットを作り公開ができます。もちろん自分のみ使える状態(非公開)での使用も可能です。

では作ってみましょう。

  1. ChatGPTにログインした初期画面から左のパネル「GPTを探す」をクリックする。
  2. GPTの画面になるので右上の「+作成する」をクリックする。
  3. 編集画面で「作成する」「構成」の2通りの作成方法があるが、「作成する」を選択すると一々聞いてくるので面倒なので「構成」でやっていきます。慣れないうちは「作成する」でやっていくのもいいでしょう。

  4. 「名前」、「説明」に適当な名前を入れます。
  5. 「指示」にプロンプト(指示)を入力します。
  6. 「プレビューする」で動作を確認します。ここで修正必要なときは「指示」を編集して確認を繰り返します。
  7. 「作成する」で公開方法を指定します。「自分のみ」「リンクによる共有」「GPTストアによる公開」が選べます。
  8. アイコンを決定するときは「名前」の上の「+」をクリックします。「写真をアップロードする」「DALL-Eを使用する」の選択ができます。
  9. 保存すれば出来上がり。

今回の出来上がったボットは「英語看板レスキューただよし」として公開しています。
使ってみて感想をいただけると幸いです。

実際の画面

GPTsを呼び出したところ入力欄左のクリップマークから画像をアップロードする。次の写真をアップしてみました(実際に、とある観光地で撮影したものです)。

実行させます。と、以下のような回答がやってきました。

回答

おっと、これはちょっとユニークな英語ですね!「クリック」って…ここにパソコンのマウスが隠れてるのかな?と一瞬勘違いしちゃいそうです。
元の看板の英語:
“Please click here to return it”
改善例:
“Please return here.”
解説:
「クリック」という言葉は、普通はコンピュータやタッチスクリーンで使うんですが、ここでは返却の場所を示したいんですよね。なので、シンプルに「Please return here.(ここに返却してください)」にしましょう。これなら、わかりやすくて安心です。
おまけの一言:
次にこの看板を見かけたら、「クリック」してみたくなる気持ちをぐっと抑えて、そのままベビーカーやペットカートを返却しましょうね!

テストを繰り返すうちに、ユーモア度を大げさにしてみたところ、この程度の回答は返ってくるようになりました。指示を書き換えれば、お望みのスタイルになるかと思います。例えば「真面目に」とか「厳しく」とか。

展開アイデア

更に深めるために、この内容について質問を投げて会話を続けることも可能です。
一通りのアドバイスをもらったあと、「本来の意図はxxxだと思うので、それに沿って再提案してください。」とか「もっとおふざけなバージョンはありますか。」とか、突っ込んでみると面白いかと思います。

まとめ

ChatGPTによる画像解析、英語添削の例として、英語看板提案を取り上げました。

ちなみに、公共交通機関にも各種注意書きも英語表記を読み込みさせてみたところ、「硬い表現だが、意味としては通じる」という評価でした。きっと検証がきちんとなされていることなのでしょう。

看板を多数試したところ、英語の間違いもありますが、日本語を直訳した例も多いので、「そもそも言いたいことは何だ」ということに帰着するかと思います。皆さんお試しください。

なお繰り返しになりますが、ChatGPTの出力には誤りが含まれている可能性があります。その内容をきちんと確認し、必要な修正や検証を行うことが不可欠です。この点を十分に留意し、新しい技術を有効に活用していきましょう。

参照動画

プロンプトが少々異なりますが、同じ内容のデモをYouTubeに上げてあります。ご参照いただければ幸いです。

ChatGPT(GPT-4V)でチャットボットを簡単に作成する方法!【初心者向けチュートリアル】

冒頭に紹介したKevin’s English Room の人気企画の最新のもの(2024-06-20)

日本の街中にある英語の看板が間違いだらけwww【第5弾】

参考図書

AI英語革命 -ChatGPTで英語学習を10倍効率化 谷口 恵子 (著)

PAGE TOP