广告位
首页 新闻 如何突破Decoder性能瓶颈?英伟达专家揭秘FasterTransformer2.0的原理与应用 | NLP公开课

如何突破Decoder性能瓶颈?英伟达专家揭秘FasterTransformer2.0的原理与应用 | NLP公开课

位来 发自 凹非寺 量子位 报道 | 公众号 QbitAI 自从 “Attention is All You Need” 在2017年提出以来, Transformer已成为 NLP 领域中非常热门的深度学习网络架构。但是在推理部署阶段,其计算性能往往难以满足在线业务对于低延迟和高吞吐的要求。

位来 发自 凹非寺

量子位 报道 | 公众号 QbitAI

自从 “Attention is All You Need” 在2017年提出以来, Transformer已成为 NLP 领域中非常热门的深度学习网络架构。但是在推理部署阶段,其计算性能往往难以满足在线业务对于低延迟和高吞吐的要求。

在英伟达开源的 FasterTransformer 1.0版本中,针对BERT中的 Transformer Encoder进行了优化和加速,经过高度优化之后,降低了用户使用transformer编码的时延。

在解决了Encoder性能问题之后,英伟达将重点放到了同样重要的Transformer Decoder推理上。

因此,英伟达推出了 FasterTransformer 2.0版本,提供针对解码器进行高度优化的transformer layer。同时,还提供了优化过后的整个翻译流程,满足想要在翻译场景中大幅降低时延的用户们。

那么,FasterTransformer 2.0背后的优化原理是什么?如何针对decoder和decoding进行优化?

4月9日,英伟达x量子位将举办一场线上公开课,英伟达GPU计算专家、FasterTransformer 2.0 开发者之一的薛博阳老师将为大家详细讲解,欢迎大家报名,与薛老师一起探讨和交流。

课程安排

主题:FasterTransformer 2.0 的原理与应用

时间:2020年4月9日(周四),20:00-21:30

环节:讲解+问答

课程内容

  • FasterTransformer 2.0 新增加功能介绍
  • 如何针对decoder和decoding进行优化
  • 如何使用decoder和decoding
  • Decoder和decoding能够带来什么样的加速效果

如何突破Decoder性能瓶颈?英伟达专家揭秘FasterTransformer2.0的原理与应用 | NLP公开课

展开全文

薛博阳,NVIDIA GPU 计算专家,拥有多年GPU开发经验和深度学习开发经验。曾参与计算机视觉、游戏人工智能等项目开发。FasterTransformer 2.0 开发者之一,目前主要负责 FasterTransformer 2.0 的进一步的优化。

报名方式

也欢迎大家保存海报、分享给有需要的朋友,一起学习~

「地平线核心技术系列公开课」第三期报名中。4月3日20:00,地平线应用平台架构师穆黎森,将在线介绍地平线AI Express如何助力算法工程化落地,并剖析其应用案例。

戳下图二维码,即可报名、加入交流群~

直播推荐 | 地平线核心技术解析系列课

学习计划 | 关注AI发展新动态

量子位 QbitAI · 头条号签约作者

վ’ᴗ’ ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !

本文来自网络,不代表今日看点立场.
广告位

为您推荐

发表评论

邮箱地址不会被公开。 必填项已用*标注

联系我们

联系我们

在线咨询: QQ交谈

邮箱: 24932477@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部