
课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
deepx_core是一个完全自研的深度学习框架。
deepx_core针对大规模高维稀疏数据场景如搜索,推荐和广告等深度优化的深度学习框。基于deepx_core可以开发出离线训练和在线推理的一整套解决方案,并在腾讯多个业务中使用并得到好评。此外, deepx_core也是一个相当通用的深度学习框架,用户可以快速开发出张量计算/机器学习/深度学习/强化学习/图神经网络/无监督学习等应用。
项目特点
计算图: deepx_core提供了一个支持自动求导的静态图引擎,该引擎支持一百余个op,几乎覆盖所有网络类型。
大规模稀疏模型:稀疏模型由稀疏张量组成,稀疏张量一直是开源框架的痛点,要么不支持,要么有缺陷.deepx_core设计并实现了稀疏张量和配套的op,以原生的方式完美实现了稀疏模型,完全不存在开源框架的痛点。分布式训练场景下,稀疏张量均匀分布在多台参数服务器上,模型规模随着参数服务器数量增加而线性扩展。deepx_core可以支持千亿特征, TB级模型,达到业界领先水平.
高性能: deepx_core使用C++11开发,天然具备高性能的基因。我们还在高性能计算优化, JIT编译优化,图编译优化,图运行优化,内存分配优化,网络通信优化等方向做出卓有成效的成果。在多项已落地的任务中,基于deepx_core解决方案的性能普遍是开源框架的5-10倍,机器节省30%-60%。
跨平台: deepx_core用标准C++11开发,极少模块需要适配不同操作系统,目前支持linux, macOS和windows操作系统。
项目应用
我们帮助以下重要腾讯产品的若干排序/召回场景落地使用了deepx_core及其衍生项目,取得了性能和效果双丰收:微信看一看,微信搜一搜,微信支付,微信表情,微信视频号,微信小程序,微信读书, QQ音乐,应用宝,腾讯新闻,腾讯课堂,腾讯黑产打击等。
写在最后
deepx系列机器学习项目经过3年多的迭代,已经趋向稳定和成熟。deepx_core在设计开发的过程中,从业界开源项目获取了大量经验和灵感,我们现将其中的核心项目deepx_core开源反哺业界,同时也能促进项目更好发展。
最后的最后,介绍一下我们的团队。我们是微信看一看算法平台团队,我们把代码和系统视为艺术,我们推崇小而美的系统,我为我们的工程师文化和艺术品而骄傲.未来我们将开源更多项目,敬请期待.
https://github.com/Tencent/deepx_core
(点击文末阅读原文直接访问)
请给项目一个S t a r !
欢迎提出你的i s s u e和P R !
国内镜像地址:
https://git.code.tencent.com/Tencent_Open_Source/deepx_core
(登录后才能访问公开项目)
【免责声明】本文系本网编辑部分转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与管理员联系,我们会予以更改或删除相关文章,以保证您的权益!