认识达内从这里开始

项目简介

Forward是一款腾讯平台和内容事业群(PCG)研发的GPU高性能推理加速框架。它直接加载主流框架模型(Tensorflow / PyTorch / Keras)转换成TensorRT推理加速引擎，帮助用户节省中间繁杂的模型转换或网络构建步骤。相对于直接使用TensorRT，Forward更易用以及更容易扩展支持更多模型和算子。目前，Forward除了覆盖支持主流的CV，NLP及推荐领域的深度学习模型外，还支持一些诸如BERT，FaceSwap，StyleTransfer这类高级模型。

行业应用

以近期的百万级BERT语言模型推理加速项目为例，原本需要成百上千的CPU资源来承载的线上推理服务，使用Forward推理加速技术后，能够实现原始已训练模型的无缝接入，并保持与之前线上相当的性能的情况下，能节省40%以上的成本，实现大幅的成本效能优化。同样地，其他业务团队(例如QQ，腾讯看点，腾讯新闻，微视)等团队的业务模型也获得了大幅的吞吐量性能的提升。因此，我们有理由相信Forward有广大的需求和落地场景，尤其是在日后GPU资源日渐丰富的情况下，更是前景可期。

适用人群

深度学习业务模型运营人员：很多业务模型开发维护团队期望提升自己线上业务的性能，但受限于业界目前工具以及人力资源，迟迟无法提升自己的业务性能。本项目则可助力他们直接提升现有业务模型的性能。

深度学习算法开发人员：包括图像，语言，推荐等各AI领域的算法开发人员，经常需要开发或改良新的业务模型。受限于业内现有方案，新模型上线往往耗时耗力甚至不受支持，此时本项目的易用性和扩展性将助力提速其新模型的上线。

功能介绍

模型性能优化高：基于TensorRT API开发网络层级的支持，保证对于通用网络层级的推理性能优化处于最优级别。

模型支持范围广：除了通用的CV，NLP，及推荐类模型，还支持一些诸如BERT，FaceSwap，StyleTransfer这类高级模型。

接口简单易用：直接导入已训练好的Tensorflow(.pb) / PyTorch(.pth) / Keras(.h5)导出的模型文件，隐式转换为高性能的推理Engine进行推理加速。

支持自研扩展：可根据业务模型自研定制扩展网络支持层级。

支持C++和Python接口调用。

性能介绍

主流模型：由于最终是直接使用TensorRT推理引擎，各主流模型的性能可以参考TensorRT官方的Benchmark。

业务模型：针对业务模型中一些TensorRT及ONNX等未支持的网络层级进行了自研开发支持。GAN模型提升5.4倍，BERT模型提升5倍以上。

开源愿景

补全市场，助力领域发展

深度学习模型推理加速，是广大算法开发及落地人员所热切关注的领域。如果模型推理能得到提速，则意味着线上服务的降本提效。然而业界现有推理加速方案的开发成本高，支持范围小，易用性低，使得业务团队难以将模型推理加速提上日程。我们可以了解到目前业界这一块正处于起步发展阶段，NVIDIA和Torch等团队也想做这样的工具(如TF-TRT，torch2trt等)并处于较初级的阶段，有一定局限性，而我们这个项目算是比较成熟的项目，所以期望能开源本项目来补充业界这一块的短暂空白，助力开源社区在这个领域的快速发展。

开源共建，助力项目发展

根据行业应用可知，此项目在业界应有大量的需求，开源此项目则可以满足那些开发用户的需求。且从立项开始，Forward就秉承开源社区的先进技术和理念，遵循各方面(包括代码质量，工程架构，版本管理等)开源标准来规范项目。因此，为了项目更好的发展，我们期待开源社区的开发人员帮我们一起共建该项目，我们也会随时跟进开源社区需求，提出并解决各种Issue，从而使得该项目能逐渐发展壮大。

项目规划

进一步简化接入步骤，提升使用接入体验。

扩展支持更多模型及算子。

进一步优化各算子，提升相关模型性能。

https://github.com/Tencent/Forward

(点击文末阅读原文直接访问)

请给项目一个S t a r !

欢迎提出你的i s s u e和P R !

国内镜像地址：

https://git.code.tencent.com/Tencent_Open_Source/ Forward

(登录后才能访问公开项目)

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益！