居然被AI劇透了?可以看視頻講故事的機器學習模型來了


架起自然语言与视觉之间的桥梁一直是计算机视觉和多媒體领域追求的目标。這一領域早起探索的任務是對圖片進行描述,也就是生成單個句子描述圖片內容。近年來的工作則更多關注于對圖片和短視頻內容進行更爲詳盡的描述,生成包含多個句子的段落。同時,研究者們也探索了根據照片流來講述故事。

 

不過,人們在記錄人生中重要的事件時,相比于短的視頻片段,往往更喜歡使用長視頻,比如生日派對和婚禮。爲此,來自新加坡國立大學與明尼蘇達大學的研究者們提出了該領域新的任務:針對長視頻生成簡介、連貫的描述性故事。爲此,他們建立了新的數據集並提出了新的模型。在該數據集上,他們將新模型與前人工作中效果最佳的模型進行了比較,新模型取得了更優的結果

 

图|上图为人类所写的故事; 下图为新模型生成的故事; 均只选择了故事的前五句和视频中它们nm相应的关键帧的采样。

 

微信掃一掃 分享到朋友圈
微口訂閱号

关注訂閱号

社交媒體运营经验交流
流量電商行業動態討論

熱點事件
微口訂閱号

关注訂閱号

社交媒體运营经验交流
流量電商行業動態討論

閱讀下一篇
微口訂閱号

自媒體运营攻略
行業經驗交流

關閉

創建藏點

藏點名稱
藏點說明
藏點封面
轉藏至我的藏点 +新建藏點
    關閉
    確定 取消
    威廉希尔亚洲官方网站
    环亚ag
    友情链接:沙巴体育首页  一号娱乐网站登录  环亚登录平台  平博pinnacle  云顶国际  环亚电游  AG88环亚  2019年葡京正版赌侠诗  ag娱乐视讯  威廉希尔亚洲