カリフォルニア州マウンテンビュー — AI に徹底的に焦点を当てた今年の Google I/O 2024 基調講演では、実際にその場所にいることの力が証明されました。 ライブ ストリームを視聴し、Jugo Mobile ライブ ブログをフォローした人は、Google が Gemini AI モデルに関して行ったさまざまな発表から多くのことを理解したと思います。 しかし、Shoreline Amphitheatre の現場にいたことで、Gemini の多数のスキルを間近で見ることができ、Google がこれらのツールを使って何を目指しているのかを実際に理解することができました。
私は知っておくべきだ。 基調講演が終了した直後、私は火曜日の午後を、Google の AI ストーリーの別の部分を説明するために、デモからデモへと走り回りました。 多くの場合、これらは Google がステージ上で披露したものの繰り返しでしたが、私がステージから十数列後ろに座るのではなく、数フィート離れたところに立っていたことが唯一の利点でした。 また、場合によっては、Google は基調講演でのみ示唆された他の機能を披露しました。
最終的な結果は？ 私は、Gemini モデルができることについて、その日の初めには理解していなかったかもしれないという認識を持っています。 そして、これらの機能の価値の最終的な証明は、あなたや私のような人々が使用するときに得られるものですが、Google には非常に便利な機能がいくつかあり、展開のさまざまな段階にあると思います。
ここでは、Gemini で何ができるかを詳しく知る中で特に印象に残った 7 つの Google I/O デモを紹介します。
Gmailでメールを要約する
私は基調講演自体で Google Workspace に導入される Gemini 搭載機能をカバーする任務を負っていたので、Google が Gmail に対して計画している AI アップグレードについてはよく知っていました。 それでも、私のために実行された電子メール概要機能の具体的なデモは、かなり的を得たものでした。
Google のデモでは、保護者の受信箱に届く可能性のある、非常に精巧で非常に長い学校ニュースレターが取り上げられていました。 そして Google は、各行をざっと読んで生徒に関連する情報を探すのではなく、新しいメールの要約機能を使用すると、具体的なこと (たとえば 7 年生にのみ関連する情報など) を尋ねて、それらをきちんとまとめられることを示しました。そしてきちんとした箇条書き。
私はたまたま 7 年生の保護者ですが、学校のニュースレターをかなり定期的に受け取ります。その中には多くの情報が含まれていますが、そのうちのほんの一部だけが私の興味に関連しています。 はい、要約メールはすぐにはここに到達できません。 今月からワークスペース ラボのユーザーに提供され、Gemini for Workspace の顧客と Google One AI プレミアムの加入者は 6 月にアクセスできるようになります。
Google のデモで手紙をスキャンしている AI エージェントは、かなり賢い顧客である可能性があることに注意してください。 7 年生に特に言及したニュースレターの項目に加えて、4 年生から 9 年生の子供たちに開かれた機会に関する項目も抽出しました。それが 7 年生にも当てはまることを十分に認識しています。
Gmail Q&A
Gmail に導入されるもう 1 つのツールは、Gemini にメールのコレクションから特定のデータを引き出すタスクを実行できる Q&A 機能です。 この学校ニュースレターの例では、電子メールの概要に、7 年生のクラスで一泊旅行があることが記載されていました。 Workspace Labs と Gemini for Workspace Alpha ユーザーが利用できるようになった Workspace サイド パネルの新しい Gemini ツールを使用して、Gemini にその旅行の持ち物リストがあるかどうか尋ねました。 確かに存在し、AI エージェントはメールに埋め込まれたリストを抽出しました。
Q&A 機能で特定のテキストを検索できるのは便利ですが、Google はこのツールがそれ以上の機能を備えていると考えています。 Google I/O の基調講演で、Google Workspace の副社長兼ゼネラルマネージャーである Aparna Pappu 氏は、今年後半に Gemini が領収書や請求書を認識し、Google ドライブ上のフォルダーにファイルしたり、さらには領収書や請求書を認識したりできるようになる時期について語った。スプレッドシートの追跡スプレッドシートにそれらを入力します。
ジェミニアドバンスト
1.5 Pro でアップデートされた Gemini Advanced モデルを披露するデモは、Google I/O で見たデモの中で最も説得力のあるものではなかったかもしれませんが、かなり役立つ視覚補助機能を備えていました。 上の写真は、1,500 ページの PDF を印刷するとどれだけ大きくなるかを示しています。 Gemini Advanced の 100 万トークンのコンテキスト ウィンドウは、これほど大きなドキュメントを理解できることを意味します。
それは単に膨大な文書を要約するだけではありません。 Gemini Advanced は、これらのページに含まれる複雑な情報も処理できます。 それを実証するために、Google 従業員は、同様の規制問題をカバーする 2 つの大きな PDF (1 つは 522 ページ、もう 1 つは 144 ページ) を用意し、一方の文書ではカバーされているが、もう一方のドキュメントではカバーされていないトピックを特定するよう Gemini Advanced に依頼しました。
AIコーチング
Google I/O での私のお気に入りのデモでは、怒りに任せてサッカー ボールを蹴り、AI 分析を使用して自分のわがままなペナルティ キックがどこで失敗したのかを正確に特定することができました。 カメラが私のフォームを測定し、パワー、正確さ、スタイルのスコアを算出する間、私はゴールに向かってボールを蹴ろうと3回試みました。
この分析は Gemini 1.5 Pro のご厚意により行われましたが、生の数値の形式だけではありませんでした。 AI はまた、実際のコーチが何を評価すべきかについてモデルをトレーニングし、仮想のサッカー コーチが発声したフィードバックも生成しました。 評決？ 安定してパワーを生み出すには、足首を固定し、靴ひもでボールを打ち抜く必要があります。 気をつけろ、メッシ。
プロジェクト・アストラ
私の同僚の Kate Kozuch はすでに Google I/O で Project Astra の経験について詳しく述べているので、Gemini 1.5 を利用して物体を認識し、その知識は、ゲームのプレイから物事を見つけるのに役立つまで、あらゆることを行うのに役立ちます。 Project Astra のスキルの一部は、Gemini が引き出すマルチモーダルな推論が広告どおりに機能することを確かに証明していますが、リンゴやアイスクリーム コーンなどの物体を認識し、「美味しいスナック」のような頭韻表現を使用してそれらを識別する AI ツールの能力は、夢を見させるものではありません。読み書きに満ちたエキサイティングな AI の未来。
もっと印象的だったのは、Project Astra でプレイした Pictionary ゲームで、AI が絵を識別する必要がありました。 これは缶詰のデモではなく、私が描画の一部を行うことになったので、私の描画スキルは「補修」と表現するのが最も適切であったにもかかわらず、Project Astra が私の豚のスケッチを正確に認識しました。 AI は、別の記者が描いたトトロのスケッチを識別することにあまり成功せず、それがフクロウかクマであると推測しましたが、私たち自身でプロジェクト アストラをテストするのは良かったです。
Project Astra には、私の注意を引いたもう 1 つの側面があります。それは、私のデモで示されたさまざまなぬいぐるみの名前であれ、Google I/O 基調講演で見られた Project Astra ビデオの中で Gemini が認識できる部分であれ、物事を覚えています。眼鏡をどこに置き忘れた人。 さまざまなオブジェクトを認識できることと、それらをコンテキストに配置できることは別のことです。 後で使用できるようにその情報を保存しておくことはまったく別のことです。
イマージェン3
私の生成画像作成の経験は主に、機能が制限された無料ツールに限られていたため、テキスト プロンプトを使用して何もないところから画像を作成できる Google の生成 AI ツールである Imagen 3 を運転席に座ることができて興奮しました。 。
Google のデモでは、アルファベットから文字を作成することが含まれており、すべて異なるモデルに基づいて 26 の異なる結果が得られました。 私はメインのテキスト プロンプトを提供する必要がありました。「ピクルスを積み重ねた」というのが私の貢献でした。Google の従業員が他のテキスト プロンプトを提供して、私のピクルス ベースのアルファベットの外観を微調整しました。 私の名前がピクルスに綴られた結果は、私が長く楽しみたいものです。
ミュージックFX DJ
私は基調講演前のデモや即興ミュージシャンによる誇大宣伝セッションなどまったく興味がなかったので、若干の不安を抱えながら MusicFX DJ デモに参加しました。 (私は多くのことを許容しますが、午前 9 時半の大きな騒音はその 1 つではありません。) また、AI を使用して反復的な単調な作業を行うメリットは理解できますが、AI を次のような用途に使用することについては少し曖昧です。創造的な取り組み。
それでも、目の前に DJ ボードがあり、ビートをコントロールするのはあなた自身なので、MusicFX DJ を使うのは確かに楽しいです。 今年初めに私の同僚のライアン・モリソンがこのプロジェクトについて詳しく説明しましたが、基本的にはテキストプロンプトを使用してサウンドを作成できます。ヴァイナルスクラッチ、グルービーベース、ホーンセクションヒットは私が自由に使えるものの一部でした。 スライダーを使用すると、特定のサウンドを他のサウンドよりも際立たせることができます。
これは実際の音楽制作に代わるようなものではありませんが、ミュージシャンがインスピレーションを得るためのツールとして使用したり、教師が生徒に曲の組み立て方を教えるために使用したりできるもののように思えます。 そしてそれは、即興ミュージシャンが「グーグル！」と叫ぶよりもはるかに心強いです。 朝のコーヒーが本当に効果を発揮する前に、何度も何度もあなたに向かって。
- Google Gemini Live 対 ChatGPT-4o Voice — どちらの AI アシスタントが勝つでしょうか?
- Google は AI を使用して、詐欺電話が発生しているときにそれを検出できるようにします
- Google 検索に 6 つの新しい Gemini AI の大幅なアップグレードが追加されました