LLM-Dojo:开源大模型修炼道场,提供简洁易读的代码构建模型训练框架和RLHF框架,支持多种主流模型和强化学习方法

本文更新于: 2024年11月8日

APP喵前言:阿喵发现了一个超棒的开源项目,叫做LLM-Dojo。这里聚集了一群对大模型训练RLHF框架感兴趣的小伙伴们。LLM-Dojo用简洁明了的代码,支持各种主流的大型语言模型,比如Qwen、Llama、GLM等,还有DPO、CPO、KTO、PPO等强化学习方法。无论是想学习还是想自己动手魔改实验,这里都是个不错的选择哦!

项目简介

LLM-Dojo是一个开源的大模型学习场所,提供简洁易读的代码构建模型训练框架和RLHF框架,支持多种主流模型和强化学习方法,旨在便于学习和实验。

截图

LLM-Dojo:开源大模型修炼道场,提供简洁易读的代码构建模型训练框架和RLHF框架,支持多种主流模型和强化学习方法

特色

  1. SFT训练框架:支持Deepspeed多卡、Lora、QLora、全参等训练,自动适配chat template。
  2. RLHF框架:包括知识蒸馏、DPO、RLOO、SimPO等强化学习方法,适配Deepspeed多卡及Lora。
  3. 最新LLM tricks详解:持续更新大模型领域最新tricks介绍,包括新论文方法的复现。
  4. 技术发文:提供从零实现DPO、SimPO代码,包括数据、loss、训练等部分的详细讲解。

项目地址

https://github.com/mst272/LLM-Dojo

下载权限
查看
  • 免费下载
    评论并刷新后下载
    登录后下载
  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付以后下载 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分以后下载立即支付 支付以后下载立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余
本文链接:Click here to view the current URL

声明:本站为个人非盈利博客,资源均网络收集且免费分享无限制无需登录。资源仅供测试学习,请于24小时内删除,任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集。请支持正版!如若侵犯了您的合法权益,可联系我们处理。

给TA打赏
共{{data.count}}人
人已打赏
网站

ICP域名备案查询,速度很快,无须验证,比官方备案查询网站好用

2024-11-8 10:57:07

网站资源

iPTV-FREE-LIST:全球iPTV 免费列表,实测可用,全球电视直播源

2024-11-8 15:29:22

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索