<汇港通讯> 内地传媒报道,腾讯(00700)旗下腾讯混元宣布,基於首个产业级2位元(bit)端侧量化方案,正式推出一款面向消费级硬件场景的「极小」模型HY-1.8B-2Bit,等效参数量仅0.3B,记忆体占用仅600MB,较常用的一些手机应用程式还小。
据介绍,通过对此前混元的小尺寸语言模型—HY-1.8B-Instruct进行2位元量化感知训练(QAT)产出,这一模型对比原始精度模型等效参数量降低6倍,并且在沿用原模型全思考能力同时,在真实端侧设备上对比原始精度模型生成速度提升2至3倍,可大幅提升使用体验。
今次腾讯混元推出HY-1.8B-2Bit模型,可以在边缘设备上无压力部署,是首个在实现2位元产业级量化的端侧模型实践。 (ST)
#腾讯混元 (ST)
新闻来源 (不包括新闻图片): 汇港资讯