横山 隆之
東京都 渋谷区 神宮前5-7-20 神宮前太田ビル4階
  • スマホアプリ開発を一貫支援
  • AI活用・XRなど先端技術に対応
  • PoC・新規サービス開発に対応

生成AI連携 マルチモーダル対話アプリケーション

東北大学自然言語処理学研究室の研究課題「現実世界の変化に適応する自然言語理解モデルの研究開発」調査用アプリケーション開発へ参画

業種
教育事業
地域
情報非公開
規模
情報非公開
費用
情報非公開

ユーザーが現実空間に関連する質問をすると、AIがリアルタイムに状況を推論し、音声・テキストで返答する機能を開発しました。Apple Vision Proを通じて「現実空間の情報」と「ユーザーの音声データ」を取得し、AIが解析・推論を行う仕組みになっています。
Apple Vision Proでは通常、カメラ映像から「現実空間の情報」を取得することはできません。しかし今回のプロジェクトではApple社に申請を行い、特別に利用許諾(Enterprise API)を取得しました。これにより、既存の生成AI(ChatGPT、Gemini)に現実情報を渡すことが可能となりました。
今後の展望として、今回の取り組みを機にAIとの関わりを広げ、AI開発で行われる技術開発を積極的に推進してまいります。

本プロジェクトを通じて得られた知見を活かし、アップフロンティアは今後もAIとXR技術を融合させた研究開発を積極的に進めてまいります。
現実世界に適応するインテリジェントな体験の実現を目指し、未来の社会や暮らしに寄り添う次世代テクノロジーの創出に挑戦していきます。

依頼を受けたカテゴリ
スマホアプリ開発スマホアプリ開発モバイルシステム開発ソフトウェア開発
制作物種別
iPhone、iPadアプリAndroidアプリツール・ユーティリティ系学習・教育系
業務範囲
Apple Vision Proアプリの開発
生成AI(ChatGPT、Gemini)を利用
業務の概要
東北大学自然言語処理学研究室は、現実世界の状況に柔軟に適応するマルチモーダルモデルの研究開発に取り組んでいます。既存の生成AI(ChatGPT、Gemini)と最先端デバイスのApple Vision Proを活用し、目の前の状況に応じて人とAIとが自然に対話できるアプリケーションの開発に取り組みました。
開発規模・期間
利用技術
JavaC#Object-Cjavascriptその他言語ソフト・アプリ設定サーバ設定PC設定
利用サーバー環境・DB
AndroidiPhone
備考

実績・事例画像

業務内容

実績・事例

スマホアプリ開発の料金相場

スマホアプリ開発の相場

メニュー

アップフロンティア株式会社へお問い合わせ
アップフロンティア株式会社

会社情報

会社名
アップフロンティア株式会社
業種
IT:システム開発
代表者名
横山 隆之
郵便番号
150-0001
所在地
東京都渋谷区神宮前5-7-20 神宮前太田ビル4階