查看: 96489|回复: 243
打印 上一主题 下一主题

清华大数据论坛:快手AI技术副总裁郑文分享深度学习应用_在线影院

[复制链接]
跳转到指定楼层
楼主

最后一个军礼

清华大数据论坛:快手AI技术副总裁郑文分享深度学习应用

  中新网4月28日电 27日,清华大学108周年校庆之际,清华大学大数据研究中心、清华-快手未来媒体数据联合研究院共同主办《清华大数据论坛——深度学习技术与应用》,清华大学师生、校友汇聚一堂,探讨分享深度学习技术与应用的最新进展。

快手AI技术副总裁郑文博士作主题分享

  据悉,清华大学-快手未来媒体数据联合研究院于2018年4月正式成立。作为清华大学校级科研机构,研究院充分利用清华大学的领先技术和快手多年的行业积累,面向多个领域开展基础和应用研究、开发、集成和快速迭代,共同探讨一系列未来媒体课题,让技术更好赋能用户,实现人与人之间更精准的连接。

  软件学院2001级的校友、清华-快手未来媒体数据联合研究院副院长、快手AI技术副总裁郑文博士作了题为《深度学习在短视频领域的应用和展望》的分享。

  郑文表示,作为一个日活超过1.6亿的短视频APP,快手的使命是“用科技提升每一个人独特的幸福感”。有两个关键词,一是“每一个人”,这说明快手的价值观是非常普世的,但同时也强调每个人的幸福感是“独特的”。光靠人工运营很难达到针对每个人的服务,需要通过人工智能技术,特别是近几年有所突破的深度学习技术来实现。

  郑文介绍说,目前快手是通过记录来提升幸福感的,这可以从两个方面来体现。首先,用户希望能看到更广阔的世界。第二,用户也有分享自己,被更广阔的世界看到的需求。

  但是这里面临一个挑战,现在快手累计拥有超过 80 亿条视频与数亿用户,在这两个海量的数字面前,如何有效分配注意力?过去,注意力一般会集中在所谓的“爆款视频”里,但在爆款视频之下,还有大量可能包含了非常丰富的信息、类别多样化的内容,这种“长尾视频”往往很难被别人注意到。如此,一些需求小众,或者兴趣比较细分的群体往往很难找到他们想要的内容。

  这个挑战决定了必须要依赖于深度学习为主的AI技术解决该问题,代替人工实现内容匹配的分发。快手很早开始就在AI相关技术方面做了很多积累,从视频生产到分发每一个环节都有大量深度学习的应用。

  内容生产

  郑文说,快手希望通过AI技术使得记录更加丰富有趣,基于这个目标,开发了大量多媒体和AI技术,比如背景分割、天空分割、头发分割,人体关键点、人脸关键点、手势关键点检测等等,并将它们应用在魔法表情中。

  快手用户跟中国互联网用户分布非常一致,中国互联网用户里面有很大一部分使用的手机都是中低端手机,算力有限。而先进的 AI 技术对设备的计算量的要求极高,为了让先进的技术被最多的用户体验到,快手对底层平台进行定制化开发,基于快手自研的 YCNN 深度学习推理引擎及媒体引擎,让上述技术在大多数机型上都能高效运行,并针对不同机型、不同硬件进行了适配和优化。

  郑文透露,快手也希望将内容质量变得更高,研发并应用了很多图像增强技术。例如,用户在光线很暗的环境下拍摄,产出的视频往往会丢失信息和细节,通过暗光增强技术,可以将这些细节恢复。

  接下来是快手近期在内容生产方面研发的一些具体的深度学习技术。三维人脸技术能够针对单张人脸图像恢复出人脸的三维信息,一方面可以实现对人脸的一些修改,比如打光、做一些表情、实现三维变脸特效;另一方面,通过三维人脸信息,可以提取出人的表情变化,然后把表情迁移到虚拟的卡通形象上,效果类似于 iPhoneX 推出的 Animoji 功能,但 iPhoneX 有结构光摄像头,且运行 Animoji 需要很强大的算力,通过技术研发,在普通摄像头、配置较低的手机上也能实现类似功能。

  郑文表示,人像分割技术能把人像和背景区分开,分别对人像和背景做特效,或者进行背景替换,还可以做人像虚化;头发分割,可以把头发区域分割出来,做染发效果。天空分割技术则可以让天空区域变得更加超现实、更加梦幻。人体姿态估计则是预测人的关节点位置,利用这一技术,可以给人体肢体上加特效,或者修改人的体型,做美体瘦身功能。此外,还能重构出人体的三维信息,用于控制卡通形象。

  手势检测是把各种特定的不同手形检测出来,实现“控雨”等玩法。另外还有 AR 相机姿态估计,背后是快手自研的 3D 引擎,并在其基础上添加编辑器模块、渲染模块、肢体模块、声音模块等,来实现模型精致而自然的光感、材质。

  在音视频方面,应用了很多智能算法,比如需要视频尽可能清晰,但同时也要求传输流畅,这就需要针对视频复杂度做一些自适应优化。另外,也会对图像进行分析,比如视频里面人脸的区域往往对大家的观感影响最大,会把人脸的区域检测出来,将码率做得更高,使得整体观感获得很大的提升。

  也会检测图像质量,比如视频生产过程中存在一些导致图像质量较低的因素,如拍摄没有对好焦,镜头长期没有擦拭,或者视频经过多次上传和压缩而产生块状瑕疵。会把这些问题通过 AI 算法检测出来,一方面提醒用户拍摄的时候注意这些问题,另一方面在做视频推荐时也会对高质量视频进行一些倾斜。

  内容理解

  据郑文介绍,内容生产环节完成后,视频会被上传到后端服务器,这里需要对视频内容进行更深层次的理解。视频的内容理解会用在很多方面,比如内容安全、原创保护、推荐、搜索、广告等等,这里大概分为两个阶段。

  首先是感知阶段,机器会从人脸、图像、音乐、语音四个维度对视频信息进行理解。

  人脸是一个很重要的维度,因为人脸往往包含了人所关心的最主要的部分,会对人脸区域进行检测,识别年龄、性别、表情等。

  另外一个维度是图像层面,会对图像进行分类,如图像的场景是什么;此外也会检测图像中有哪些物体,还会进行图像质量评估,以及利用 OCR 技术从图像中提取文字。

  音乐是影响视频感染力很重要的一部分,可以从视频里识别出音乐类型,甚至可以对音乐进行结构化分析,分离伴奏和歌唱部分。

  语音也是视频非常重要的维度,往往从图像中可能并不能很好地得到视频所传达的信息,这时候语音就非常重要,会把语音识别出来转化成文字,也会通过语音去识别人物的身份、年龄、性别等等。

  第二个阶段是推理阶段,会把这些不同维度的信息进行多模态融合,推理出更高层次的语音信息,或者对视频进行情感识别。也用到知识图谱技术,把视频里的知识存储在知识图谱里表达出来。通过知识图谱的推理,能够得到一些更高层、更深入的信息。

  在内容理解方面也做了一些比较具体的技术,如快手开发了一套视频标签系统,可以对视频里出现的大多数内容和场景进行分类。在快手语音识别功能模块,采用深度学习算法,结合上下文语境模块,使得识别精度得到很大提升。

  一方面,需要理解视频内容,另一方面,也需要对用户进行理解,包含用户公开的年龄、性别等信息以及用户在实时使用快手时产生一些行为数据。这些数据都会传送到后端的深度学习模型里,训练出对用户理解的向量。通过这些向量,可以预测用户的兴趣以及他与其他用户之间的关系。

  最后得到对用户的描述以及对视频的理解,用户和视频之间的匹配就会产生万亿级别特征的大数据,这个大数据会被用在实时在线的推荐系统里,预测用户会对什么样的视频感兴趣。另外也会对社区里的内容进行排序,比如前面提到如何分配注意力,希望注意力分配的差距不要太大,所以会根据基尼系数调整视频内容的分配情况。此外,还会考虑到内容的安全性、多样性以及原创保护等因素。

  郑文表示,希望跟高校、学界的老师同学进一步加强深度合作,充分利用快手的海量数据和强大算力,共同推进深度学习技术,挖掘未来更多的可能性,提升大众幸福感,这也是成立清华大学-快手未来媒体数据联合研究院的愿景。

当前文章:http://iq7.yrmtpq.com/26b/2494-5270-22843.html

发布时间:01:15:19

漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  

{相关文章}

三进西藏筑天路——记中铁五局成都公司铁路工人杜焕才

  新华社拉萨5月3日电 题:三进西藏筑天路——记中铁五局成都公司铁路工人杜焕才

  新华社记者王艳刚、田金文、李键

  “我一辈子都在人迹罕至的地方工作。我们修通了路,人们才能方便地到达。”杜焕才笑着说,“退休后我想回到城市里,陪陪家人。”

  杜焕才是一名平凡的铁路工人,没有惊天动地的伟业。但是,作为一名地地道道的“铁二代”,他三进青藏高原,参与青藏铁路一期、二期及拉林铁路建设,见证了雪域高原铁路发展历史。

  初见杜焕才时,被高原太阳晒得黝黑的他,正与同事们开着铲土车,对泽当车站进行最后的清理工作。“车站工程基本结束了,再完成一些配套工程,我们任务也就快结束了。”杜焕才说。

  聊起拉林铁路,这位来自东北黑土地的朴实汉子打开了话匣子:“我于2015年6月第三次进藏抵达项目部。感觉拉林铁路不是最难修的,但地质结构可以说是最复杂的,自然气候变化也是最大的。”

  今年57岁的杜焕才已从业32年,是公司在西藏年纪最大、经验最丰的老员工。他在其18+韩国小姐姐VIP视频154_在线影院他项目部一直是队长,初到拉林铁路项目部时,被任命为综合四队副队长脱泳而出_在线影院。由于特殊的地质结构,工程难度超出预期。为了按时完成工期,哪里遇到困难、哪里遇到难啃的硬骨头,他就被调到哪里。

  明泽特大桥是拉林铁路重点工程,全长3376米,18+韩国小姐姐VIP视频130_在线影院共105个墩台身,其中有44个水中墩侧跨雅鲁藏布江,最高桥墩高15米,桥墩基础桩的最大深度达52.5米。为了保证项目工期,杜焕才和同事们经常24小时三班倒,不敢有丝毫懈怠。

  “我负责难度最大的78-81号桥墩工程。由于特殊的地质条件,桥墩的6个根桩经常会遇到不同的地质状况,既有沙卵层,也有坚硬的岩石。遇到异常硬度的岩石层,即使换上最强‘武器’冲击钻,每小时也只能打10厘米深。最难的时甲A风云之辣球_在线影院候,一根桩足足打了15天。”杜焕才说。

  多变的高原气候,也给拉林铁路建设者带来了巨大的困难和挑战。雅鲁藏布江河谷春天多风沙,夏天日照强,冬天夜里滴水成冰。杜焕才说:“春天风沙大时,1米之外的人都看不见;夏天同事们都被晒得黝黑;冬天寒风刺骨,手都伸不出来。”

  从业30多年,杜焕才经历过各种各样的艰苦考验。“2001年,第一次进藏参与青藏铁路一期工程,我们项目部在昆仑山附近,海拔高难度大,施工地点又是无人区。”杜焕才回忆说,“那是我第一次在冻土上施工。”

  在施工地所在的无人区,想洗澡只能去200公里外的格尔木。缺氧让初入高原的杜焕才经常头痛欲裂。为保证施工质量,杜焕才总是在工作中打起十二分的精神。

  杜焕才告诉记者,在藏工作多年,交了好几个藏族朋友。这些藏族朋友给他的生活和工作上带来不少帮助。

  作为风里来、雨里去的铁路工人,顶级经纪人第一季_在线影院杜焕才参加过三茂铁路、哈大高铁、成绵乐高铁、西007:大破天幕杀机_在线影院成高铁等30多项国家重难点公路铁路建设工程。

  杜焕才说,退休临近,还想多带几个徒弟,把所学施工经验传授给年轻人,让他们接过“接力棒”建好川藏铁路。

点击获取礼包
沙发
发表于 03:19:45 | 只看该作者
意大利人在俄罗斯的奇遇(国语) 彼时彼女 京都妖狐志
板凳
发表于 03:26:35 | 只看该作者
龙凤茶楼(粤语) 傲蕾·一兰1979 阿凡提
地板
发表于 02:15:26 | 只看该作者
神风刀 大人的防具店 高跟丝袜集锦204
5#
发表于 02:43:55 | 只看该作者
杨门女将之昊天塔 小黑鸟 我是外星人
6#
发表于 02:40:16 | 只看该作者
102斑点狗 生死传递 第三种魅力
7#
发表于 00:33:36 | 只看该作者
不期而爱 失声岁月 19+韩国美女VIP视频343
8#
发表于 02:29:59 | 只看该作者
杀手之心第一季 蒙特利流行音乐节 101忠狗续集:伦敦大冒险(粤语)
9#
发表于 01:32:59 | 只看该作者
时光大盗 火星救援(加长版) 碟中谍3(英语)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

在线影院是互联网最大的搜索引擎优化研究中心,是致力于培养学员用户体验意识和提供专业技术解答的专业培训机构, 成立于2007年,2008年第一家入驻歪歪的培训机构,2014年成为腾讯课堂战略合作机构。
© 2007-2016 在线影院 湘ICP备13004652号-1 Powered by Discuz!X  Template by 在线影院 
快速回复 返回顶部 返回列表
漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网  漳州新闻网