【スマホに向かって話すだけ】ChatGPTとGeminiを使ったリアルタイム翻訳

実は今、ChatGPTやGeminiを使った“ライブ翻訳”がかなり実用レベルに来ています。

しかもただの翻訳ではなく、感覚としては、もう“通訳”です。

そこで今回はGemini、ChatGPTを駆使したリアルタイム翻訳の使い方と注意点、そして従来の翻訳アプリとの違いまで、できるだけ分かりやすくお話しします。

<動画内容>
1. 翻訳アプリと比べて何が違うのか?
2. ChatGPTやGeminiでリアルタイム翻訳する方法
3. デモンストレーション
4. リアルタイム翻訳の終了方法
5. 英語以外の翻訳
6. 翻訳精度を高めるには
7. 方言や訛りも翻訳できるのか検証
8. 生成AIにはできない翻訳アプリの活用法

詳しくは、下記の動画ご参照ください。(講座動画時間:14分09秒)


実は今、GeminiやChatGPTを使った“ライブ翻訳”が実用レベルにきています。

リアルタイム翻訳

しかもただの翻訳ではありません。

感覚としては、もう“通訳”です。

もちろん、「無料で使える」ということも大きなポイントです。

リアルタイム翻訳

いつもご視聴有難うございます、スマホのコンシェルジュです。

今回はGemini、ChatGPTを駆使したリアルタイム翻訳の使い方と注意点、そして従来の翻訳アプリとの違いまで、できるだけ分かりやすくお話しします。

たまに旅行に行く程度なら、もう外国語を覚える必要はないかもしれません…。

リアルタイム翻訳

スマホのコンシェルジュでは、豊富な指導実績をもとに、スマートフォンの使い方に関する動画を配信しております。

世代間の情報格差を少しでもなくせるようにと動画配信を行っておりますので、ぜひ「チャンネル登録」をして他の動画についてもチェックしてみてください!

それでは今回もよろしくお願いします。

リアルタイム翻訳:スマホのコンシェルジュとは

【目次】
1.翻訳アプリと比べて何が違うのか?
2.ChatGPTやGeminiでリアルタイム翻訳する方法
3.デモンストレーション
4.リアルタイム翻訳の終了方法
5.英語以外の翻訳
6.翻訳精度を高めるには
7.方言や訛りも翻訳できるのか検証
8.生成AIにはできない翻訳アプリの活用法

1. 翻訳アプリと比べて何が違うのか?

それではまず、生成AIによる翻訳の、一体どこがすごいのかについてご紹介します。

リアルタイム翻訳:翻訳アプリと比べて何が違うのか?

従来の翻訳アプリは、基本的に「言葉を置き換える」仕組みです。

翻訳の過程において文脈は考慮されません。

リアルタイム翻訳:翻訳アプリと比べて何が違うのか?

一方、生成AIは違います。

一度文章全体の「意味」を理解してから翻訳を行います。

つまり、翻訳というより、理解して言い直している。

リアルタイム翻訳:翻訳アプリと比べて何が違うのか?

生成AIは、会話の流れを覚えているので、そのニュアンスを考慮して訳してくれます。

ここが大きな違いです。

リアルタイム翻訳:翻訳アプリと比べて何が違うのか?

これのおかげで、

・皮肉

・遠回しな表現

・会話の流れを踏まえた発言

など、“難しい文章”でも自然に翻訳してくれます。

リアルタイム翻訳:翻訳アプリと比べて何が違うのか?

例えば、「それは面白い考えだね。」という文章。

リアルタイム翻訳:翻訳アプリと比べて何が違うのか?

一見すると簡単な文章ではありますが、文脈によっては、本当に褒めて言っているのか、ちょっと呆れて皮肉で言っているのか、現実的ではないというニュアンスを込めた遠回しの批判なのか、文脈がないと判断できません。

こうした文章は従来の翻訳アプリのアプローチでは正確な翻訳が難しかったのですが、生成AIによる翻訳ではかなり正確に意図を汲み取って翻訳してくれます。

一見すると簡単な文章ではありますが、文脈によっては、本当に褒めて言っているのか、ちょっと呆れて皮肉で言っているのか、現実的ではないというニュアンスを込めた遠回しの批判なのか、文脈がないと判断できません。

リアルタイム翻訳:翻訳アプリと比べて何が違うのか?

生成AIは、単なる翻訳ツールではありません。

適切な言葉を選んでくれる「優秀な通訳」のような存在です。

リアルタイム翻訳:翻訳アプリと比べて何が違うのか?

2. ChatGPTやGeminiでリアルタイム翻訳する方法

実際の使い方としては、とてもシンプルで特に難しい操作はありません。

リアルタイム翻訳:ChatGPTやGeminiでリアルタイム翻訳する方法

メイン画面を起動したら、右下にあるレコーダーのようなボタンを押してください!

リアルタイム翻訳:ChatGPTやGeminiでリアルタイム翻訳する方法

初めて起動すると、いくつか初期設定がありますので、そちらを進めてセットアップを完了してください。

GeminiもChatGPTも基本の流れは一緒で、好きな声質も選択することができるようになっています。

リアルタイム翻訳:ChatGPTやGeminiでリアルタイム翻訳する方法

Geminiの場合は、まず初めにこう言ってください。

「今から日本語と英語の通訳をお願いします。」

このあとは、スマホに向かって話すだけです。

リアルタイム翻訳:ChatGPTやGeminiでリアルタイム翻訳する方法

ちなみに、ChatGPTの場合は、「今から日本語と英語の通訳をお願いします。日本語で話したら英語に、英語で話したら日本語に翻訳してください。」

というように、より具体的な指示をしてあげてください!

では次から実際の翻訳の様子をご覧ください。

リアルタイム翻訳:ChatGPTやGeminiでリアルタイム翻訳する方法

3. デモンストレーション

シチュエーション

① 空港(乗り継ぎがギリギリ)

リアルタイム翻訳:デモンストレーション

JP:
すみません、スーツケースに大きなキズができていたんですが…。

US:
I’m sorry to hear that. Was it damaged before check-in?

それは申し訳ありません。預ける前から傷はありましたか?

JP:
いいえ、預けたときは問題ありませんでした。

US:
Alright, we’ll file a claim right away.

承知しました。すぐに補償手続きを進めます。

JP:
手続きは時間がかかりますか?滞在期間が短いので…。

US:
We’ll try to speed things up for you.

できるだけ早く対応します。

JP:
あと、そのキズのせいでスーツケースがうまく閉まらなくて…。

US:
We can provide temporary repairs if needed.

必要であれば応急処置も可能です。

JP:
それは助かります、ありがとうございます。

US:
We’ll make sure this doesn’t affect your trip.

旅行に影響が出ないよう対応いたします。

リアルタイム翻訳:デモンストレーション

シチュエーション

② レストラン(注文ミスっぽい)

リアルタイム翻訳:デモンストレーション

US:
Are you ready to order?
ご注文はお決まりですか?

JP:
ほぼ決まっていますが、ナッツのアレルギーがあって…。

US:
Thanks for letting me know. Which dish are you considering?
教えていただきありがとうございます。どのお料理をご検討ですか?

JP:
このパスタです。これにナッツは入っていますか?

US:
Let me double-check with the kitchen.
厨房に確認してまいります。

JP:
お願いします。

US:
Good news — it’s completely nut-free.
ご安心ください、ナッツは使用していません。

JP:
安心しました。では、そのパスタをお願いします。

US:
Great choice. Anything else?


ありがとうございます。他にご注文はありますか?

JP:
今のところ大丈夫です。

リアルタイム翻訳:デモンストレーション

4. リアルタイム翻訳の終了方法

如何でしたか?

「意外とスムーズ!」そんな風に感じて頂けたのではないでしょうか?

リアルタイム翻訳を終了する場合には、画面右下の×ボタンをタップします。

会話の流れはチャット履歴として一通り残っているので、後から見返すことも可能です。

また英語であれば日常会話くらいはなんとかなる、という方もいらっしゃるかと思いますが、

リアルタイム翻訳:リアルタイム翻訳の終了方法

5. 英語以外の翻訳

シチュエーション

④ 道案内(イタリア語)

本領発揮は英語以外の言語の翻訳です。

リアルタイム翻訳:英語以外の翻訳

6. 翻訳精度を高めるには

JP:
すみません、オリンピックのスケート競技場へはどう行けばいいですか?

Mi scusi, come posso arrivare al palazzetto del ghiaccio delle Olimpiadi?

Italiano:
Ah, intende quello vicino al parco grande? Non è proprio dietro l’angolo.

ああ、大きな公園のそばにある会場のことですね?少し距離がありますよ。

JP:
今日は大きな大会があると聞いているので、そこに行きたいです。

Sì, esatto. Ho sentito dire che oggi c’è una gara importante.

Italiano:
Allora le conviene prendere la metropolitana linea B e scendere alla terza fermata. Poi deve camminare per circa dieci minuti.

それなら地下鉄B線に乗って、3つ目の駅で降りるのが便利です。そこから徒歩10分ほどです。

JP:
駅を出たら、競技場の場所はすぐに分かりますか?

È facile da trovare una volta sceso dalla metro?

Italiano:
Abbastanza. Segua le indicazioni per lo stadio e vedrà anche molti cartelli temporanei per l’evento.

ええ、スタジアム方面の案内に従えば大丈夫です。イベント用の臨時看板もたくさん出ていますよ。

JP:
ありがとうございます!競技開始に間に合うかどうか不安です…。

Perfetto, grazie mille! Non vorrei perdermi l’inizio della gara.

Italiano:
Tranquillo, se parte adesso arriva in tempo.

今から向かえば十分間に合いますよ。

リアルタイム翻訳:翻訳精度を高めるには

ちなみにリアルタイム翻訳では、翻訳精度が若干拙いと感じるシーンも出てくるかと思います。

そんなときは、チャット履歴を利用して再度翻訳をお願いしましょう。

リアルタイム翻訳を閉じて、その場で画面のような指示を出しておくと、後から見返す必要が出てきた場合に便利です。

リアルタイム翻訳:翻訳精度を高めるには

こうすることで、より自然により精度の高い翻訳へと変換され、特に道案内や細かいニュアンスまで確認したいシーンなどでは活躍しそうです。

精度を求める場合、テキスト翻訳の方がリアルタイム翻訳より精度が良いという点は覚えておいて損はないと思います。

リアルタイム翻訳:翻訳精度を高めるには

どうでしょうか?

これさえあれば、海外旅行も気兼ねなく満喫できるのではないでしょうか。

そして何より、無料で提供されているというのが嬉しいところです。

リアルタイム翻訳:翻訳精度を高めるには

7. 方言や訛りも翻訳できるのか検証

ちなみに、方言についても多少の翻訳は可能ですが、日本でも特に難解とされる「津軽弁」でリアルタイム翻訳を試してみました。

リアルタイム翻訳:方言や訛りも翻訳できるのか検証

今回検証した文章はコチラです。

標準語と比べて、これくらい異なる方言を上手く訳すことができれば、どこへ行ってもかなり幅広く対応できると言えそうです。

津軽弁:だいだば?こごさゴミなげでらの!ゴミ箱さなげろ“!

(標準語:誰?ここにゴミを捨てているのは!ゴミ箱に捨ててよ!)



英語:Wait, who’s leaving their trash here? Put it in the trash can!

リアルタイム翻訳:方言や訛りも翻訳できるのか検証

ただ残念ながら結果としては、上手く翻訳できませんでした。

リアルタイム翻訳:方言や訛りも翻訳できるのか検証

認識されている言語をみると、イントネーションの違いというよりは母音の違いが大きく関係しているような気がします。

リアルタイム翻訳:方言や訛りも翻訳できるのか検証

理由はシンプルで、「音声認識の壁」です。

リアルタイム音声は「音声を標準語として文字化する」という工程があり、標準語と比べて母音がかなり異なるような場合には、文字起こしの段階で崩壊する可能性が高いということがわかります。

リアルタイム翻訳:方言や訛りも翻訳できるのか検証

テキスト入力なら翻訳できたとしても、リアルタイム音声では性質上、難易度が跳ね上がるので、方言や訛りが強い場合は翻訳が上手くいかないこともあるということは頭の片隅に入れておきましょう。

リアルタイム翻訳:方言や訛りも翻訳できるのか検証

8. 生成AIにはできない翻訳アプリの活用法

翻訳精度は生成AIに軍配が上がるとしても、翻訳アプリは今でも海外旅行の優秀なお供です。

リアルタイム翻訳:生成AIにはできない翻訳アプリの活用法

もう少し正確に言うと、用途が違います。

Google翻訳の強みは、

・速い

・シンプル

・言語数が多い

・オフラインで操作可能

などがメリットとして挙げられます。

リアルタイム翻訳:生成AIにはできない翻訳アプリの活用法

そして何より出番が多いのが、“カメラ翻訳”です。

リアルタイム翻訳:生成AIにはできない翻訳アプリの活用法

メニュー、看板、標識などにカメラをかざすだけで、画像の中にあるテキストを瞬時に翻訳して見せてくれます。

この点はまだまだGoogle翻訳の方が手軽です。

リアルタイム翻訳:生成AIにはできない翻訳アプリの活用法

使い方も非常にシンプルで、Google翻訳を起動してメイン画面の右下にあるカメラボタンをタップするだけです。

リアルタイム翻訳:生成AIにはできない翻訳アプリの活用法

あとはスマホのカメラを通して覗き込むだけ!

これだけで、カメラに写ったものがすべて日本語へと変換されます。

リアルタイム翻訳:生成AIにはできない翻訳アプリの活用法

ただし、予め言語設定はしておく必要があります。

左側が読み取る言語、右側に翻訳したい言語を設定します。

リアルタイム翻訳:生成AIにはできない翻訳アプリの活用法

言語をタップすると、そのまま言語設定が行えるので、ここから任意で設定します。

また、海外旅行に行く際はその国で使用されている言語と日本語を、オフラインでも使えるようにダウンロードしておくことをオススメします。

こうしておくと、通信環境が悪い場所でもスピーディーに翻訳してくれたり、無駄な通信料を発生させることなくアプリを使用することが出来ます。

リアルタイム翻訳:生成AIにはできない翻訳アプリの活用法

ちなみにダウンロードした言語は、「プロフィールアイコン」 → 「ダウンロードした言語」と順に選択して、ダウンロード済みの言語右横にあるゴミ箱をタップするとデータを削除できます。

旅行から帰ってきたら、忘れないうちに行っておきましょう。

リアルタイム翻訳:生成AIにはできない翻訳アプリの活用法

このように、翻訳アプリにも便利な点は沢山ありますので、

・細かいニュアンスまで正確に伝える必要がある場合は「生成AI」

・簡単な会話や文字の読み取りなどスピード感を重視するならGoogle翻訳などの「翻訳アプリ」

こういった使い分けがオススメです。

要は「どっちが上か」ではなく、「何に使うか」です。

みなさんもぜひ活用してみてください!

今回の動画はコチラで以上です。

リアルタイム翻訳:生成AIにはできない翻訳アプリの活用法

最後までご視聴いただきありがとうございました。

気軽にコメントや「チャンネル登録」をいただけますと幸いです。

また、「メンバーシップ」にて弊社動画のテキスト版も配信しておりますので、よろしければ是非ご登録ください。

それでは、次の動画でもよろしくお願いいたします。


「【それAIに入力して大丈夫?】ChatGPTやGeminiで絶対にやってはいけない3つの注意点」もご参照ください。


「【知らない間に不正利用】「タッチ決済対応カード」は超危険!「カード情報」がダダ洩れ!」もご参照ください。


指導実績>
三越伊勢丹(社員向け)・JTB(大説明会)・東急不動産(グランクレール)・第一生命(お客様向け)・包括支援センター(お客様向け)・ロータリークラブ(お客様向け)・永楽倶楽部(会員様向け)等でセミナー・講義指導を実施。

累計50,000人以上を指導 。

<講義動画作成ポイント>
個別指導・集団講座での指導実績を元に、わかりやすさに重点を置いた動画作成

その他の講義動画は下記の一覧をご参照ください。


<その他>
オンラインサポート(ライブ講座・ZOOM等でのオンライン指導)とオフラインサポート(出張指導・セミナー形式のオフライン指導)も実施中。詳しくはメールにてお問い合わせください。

【全店共通】
03-5324-2664

(受付時間:平日10時~18時)

お気軽に お問い合わせください!