今年秋招,算法岗位中,薪资开的最高的无疑是大模型相关的岗位,大模型相关应用正在逐步落地,往后3-5年,大模型仍是热门方向大家常听到的AI算法工程师,基座大模型,大模型应用工程师等都属于大模型算法相关的岗位现在还比较缺乏大模型入门的系统学习资料,很多同学刚刚开始接触大模型,容易迷茫和踩坑大模型的基础内容并不多,如果有针对性学习,就能够很快完成入门,并进行后续前沿内容的学习这一部分主要是介绍语言模型的由来,从基于统计学习的语言模型开始,到基于RNN的语言模型,再到基于Transformer的语言模型,最后介绍语言模型的采样方法和语言模型评测的方法,包括内在评测和外在评测两种方式这一部分主要是介绍大模型的主流架构,大数据和大模型加持,就能训练出智能的大模型,大模型框架包括Encoder-only的,主要代表模型就是Bert系列,然后是Encoder-Decoder架构的大模型,主要代表是T5和BART模型,最后是现在最主流的架构Decoder-only,常见的GPT, LLAMA等模型都是这种架构,最后介绍基于状态空间架构 和TTT架构的模型这一部分主要是介绍Prompt工程,我们和大家的交互就是通过prompt来完成的,首先介绍prompt的定义,然后介绍上下文学习,思维链的定义,写prompt的一些技巧,最后是基于prompt的一些应用这一部分主要是介绍微调大模型,微调大模型包括全参数微调和参数高效微调(PEFT),全参微调成本很高,所以PEFT具有重要意义,首先介绍PEFT的基本内容,然后介绍参数选择方法,再介绍Lora微调,最后是基于PEFT的实践应用这一部分主要是介绍模型编辑这一新兴技术,首先介绍模型编辑思想、定义、性质,其次从内外两个角度分别介绍模型编辑经典方法,然后举例介绍模型编辑的具体方法 T-Patcher 和 ROME,最后介绍模型编辑的实际应用这一部分主要是检索增强生成,也就是大家常说的RAG,首先看介绍RAG的背景和组成,RAG的基本架构,RAG知识检索的流程,RAG生成增强的过程,最后是搭建简单的RAG系统上面内容包括了LLM的基础知识,后续可以具体学习各种PEFT方法,又或者针对Prompt策略结合具体的情景进行探索,还可以学习RAG中各种生成和检索策略,找一个方向深入学习比较好,不用面面俱到https://github.com/ZJU-LLMs/Foundations-of-LLMs/tree/main
2. 发送口令“大模型基础”领取(人工回复可能有时差,都会发给大家的,不用着急