大型语言模型学术资源

admin

L站 c上最出名的莫过于各种品牌的LLM，而它们现在也十分火热。本文将提供一些难度较高的LLM资源，帮助想学LLM的站友深入了解最先进的技术。资源内容偏学术性，需要一定的深度学习基础，例如旷视北大或ucbCS182课程。
## LLM 0.5 基础入门 (主题入门)
以下三个资源概括了LLM的基本主题和解决方案。建议先补充背景知识，这些内容应该是高年级本科生能理解的。你可以参考伯克利的cs map定位并补足不熟悉的主题。
LLM 的研究大体可以分为以下几个部分:
* 模型 (Modeling)
* 训练 (Training)
    * 预训练 (Pre-Training)
    * 后训练 (Post-Training)
* 推理 (Inference)
* 评估 (Evaluation)
* 部署 (Deployment)
* 能力 (Abilities)
* 应用 (Applications)
* [COS 597G: Understanding Large Language Models](https://www.cs.princeton.edu/courses/archive/fall22/cos597G/)
* [CS 886: Recent Advances on Foundation Models](https://cs.uwaterloo.ca/~wenhuche/teaching/cs886/)
* [MIT 6.5940 Fall 2024 TinyML and Efficient Deep Learning Computing](https://hanlab.mit.edu/courses/2024-fall-65940)
伯克利的csmap: [https://linux.do/uploads/default/original/3X/9/d/9d9837cd5498b7f8366e38ab5edf2efc5a00969e.jpeg](https://linux.do/uploads/default/original/3X/9/d/9d9837cd5498b7f8366e38ab5edf2efc5a00969e.jpeg)