Koyal

概要

Koyalは、台本や音声を、一人ひとりに合わせた魅力的なビジュアルストーリーへとスムーズに変換できる、エージェント型AIの映像制作プラットフォーム。カーネギーメロン大学、MIT、Metaの出身者がそろい、AIによる動画生成の経験を持つチームだ。

https://koyal.ai は、12月のAI学会NeurIPSで発表した研究をそのまま土台にしている。特許取得済みの安全なパーソナライズのプロトコル「CHARCHA」（生成AIのためのキャプチャ）は、海外メディアでも取り上げられた。

発表：https://x.com/meh_agarwal/status/1965866965425348687 デモ：https://x.com/meh_agarwal/status/1965137062119752099

現在、世界最大級の音楽レーベル、ポッドキャスト、制作会社と有償のパイロットを実施中で、beta.koyal.ai でパブリックベータも公開したばかりだ。

最近、Universal Music、T-Series（世界最大の音楽レーベル）、そしてMaddock EntertainmentやCollective Artists Networkといったボリウッドの制作会社とのパイロットを終えた。その一環として、A R Rahman、Ricky Kej、Shankar Mahadevanといったグラミー賞・アカデミー賞受賞アーティストのミュージックビデオを5本公開し、いずれも150万回再生を突破した。

最近では、(i) 多言語の台本から音声、そして動画への変換、(ii) ダイナミックな動きを伴うエージェント型のリップシンク、(iii) 複数キャラクターの一貫性、で最先端（SOTA）の能力を実現した。

トピック