精品仓库 /

每个人都能看懂的大模型知识分享

luhengshiwo

02-20 18:11

每个人都能看懂的大模型知识分享，LLMs春/秋招大模型面试前必看，让你和面试官侃侃而谈

00-序-AGI之路3个子项

assest2个子项

大家都谈的ScalingLaw是什么6个子项

智能涌现和AGI的起源7个子项

大家都在谈的ScalingLaw是什么.md

智能涌现和AGI的起源.md

01-第一章-预训练50个子项

10分钟了解什么是多模态大模型.md

10分钟搞清楚为什么Transformer中使用LayerNorm而不是BatchNorm.md

FlashAttentionv2相比于v1有哪些更新？.md

assest43个子项

10分钟了解什么是多模态大模型（Multimodal LLMs）6个子项

10分钟搞清楚为什么Transformer中使用LayerNorm而不是BatchNorm4个子项

FlashAttention v2相比于v1有哪些更新？5个子项

为什么会发展出Multi Query Attention和Group Query Attention1个子项

为什么大型语言模型都在使用 SwiGLU 作为激活函数？5个子项

什么是perplexity3个子项

什么是大模型的位置编码Position Encoding10个子项

从欧拉公式的美到旋转位置编码RoPE20个子项

复变函数在大模型位置编码中的应用7个子项

大模型分布式训练并行技术（一）概述5个子项

大模型分布式训练并行技术（三）流水线并行3个子项

大模型分布式训练并行技术（二）数据并行2个子项

大模型分布式训练并行技术（五）混合并行3个子项

大模型分布式训练并行技术（四）张量并行4个子项

大模型并行策略[中文翻译]11个子项

大模型训练框架（一）：综述4个子项

大模型训练框架（三）DeepSpeed3个子项

大模型训练框架（二）FSDP3个子项

大模型训练框架（五）Accelerate4个子项

大模型训练框架（四）Megatron-LM3个子项

搞懂大模型的分词器（一）2个子项

搞懂大模型的分词器（三）2个子项

搞懂大模型的分词器（二）2个子项

搞懂大模型的分词器（五）2个子项

搞懂大模型的分词器（六）2个子项

搞懂大模型的分词器（四）2个子项

最简单的方式理解Mamba（中文翻译）17个子项

最美的数学公式-欧拉公式2个子项

混合专家模型 (MoE) 详解（节选）6个子项

看懂FlashAttention需要的数学储备是？高考数学最后一道大题！18个子项

神经网络的优化器（一）概述5个子项

神经网络的优化器（七）AdaDelta1个子项

神经网络的优化器（三）Momentum2个子项

神经网络的优化器（九）Adam1个子项

神经网络的优化器（二）SGD3个子项

神经网络的优化器（五）Rprop1个子项

神经网络的优化器（八）RMSprop1个子项

神经网络的优化器（六）AdaGrad1个子项

神经网络的优化器（十一）AdamW1个子项

神经网络的优化器（十二）RAdam1个子项

神经网络的优化器（十）Nadam1个子项

神经网络的优化器（四）ASGD2个子项

神经网络的激活函数19个子项

为什么会发展出Multi-Query-Attention和Group-Query-Attention.md

为什么大型语言模型都在使用SwiGLU作为激活函数？.md

什么是大模型的位置编码Position-Encoding.md

从欧拉公式的美到旋转位置编码RoPE.md

全网最全的大模型分词器（Tokenizer）总结.md

全网最全的神经网络优化器optimizer总结.md

复变函数在大模型位置编码中的应用.md

大模型分布式训练并行技术（一）概述.md

大模型分布式训练并行技术（三）流水线并行.md

大模型分布式训练并行技术（二）数据并行.md

大模型分布式训练并行技术（五）混合并行.md

大模型分布式训练并行技术（四）张量并行.md

大模型并行策略[中文翻译].md

大模型训练框架（一）综述.md

大模型训练框架（三）DeepSpeed.md

大模型训练框架（二）FSDP.md

大模型训练框架（五）Accelerate.md

大模型训练框架（四）Megatron-LM.md

最简单的方式理解Mamba（中文翻译）.md

最美的数学公式-欧拉公式.md

混合专家模型MoE详解节选.md

看懂FlashAttention需要的数学储备是？高考数学最后一道大题！.md

神经网络的优化器（一）概述.md

神经网络的优化器（七）AdaDeleta.md

神经网络的优化器（三）Momentum.md

神经网络的优化器（九）Adam.md

神经网络的优化器（二）SGD.md

神经网络的优化器（五）Rprop.md

神经网络的优化器（八）RMSprop.md

神经网络的优化器（六）AdaGrad.md

神经网络的激活函数（三）ReLU和它的变种.md

神经网络的激活函数（二）Sigmiod、Softmax和Tanh.md

神经网络的激活函数（五）门控系列-GLU、Swish和SwiGLU.md

神经网络的激活函数（六）GELU和Mish.md

神经网络的激活函数（四）ELU和它的变种SELU.md

02-第二章-部署与推理12个子项

10分钟私有化部署大模型到本地.md

DevOps，AIOps，MLOps，LLMOps，这些Ops都是什么？.md

assest

vLLM使用PagedAttention轻松、快速且廉价地提供LLM服务（中文版翻译）.md

大模型output-token为什么比input-token贵？.md

大模型推理框架（一）综述.md

大模型推理框架（三）Text generation inference (TGI).md

大模型推理框架（二）vLLM.md

大模型推理框架（五）Ollama.md

大模型推理框架（四）TensorRT-LLM.md

大模型的latency（延迟）和throughput（吞吐量）有什么区别.md

如何评判大模型的输出速度？首Token延迟和其余Token延迟有什么不同？.md

03-第三章-微调14个子项

assest

大模型微调之Adapters（一）概述.md

大模型微调之Adapters（三）QLoRA.md

大模型微调之Adapters（二）LoRA.md

大模型微调之Adapters（四）AdaLoRA.md

大模型微调之Soft prompts（一）概述.md

大模型微调之Soft prompts（三）Prefix-Tuning.md

大模型微调之Soft prompts（二）Prompt Tuning.md

大模型微调之Soft prompts（五）Multitask prompt tuning.md

大模型微调之Soft prompts（四）P-Tuning.md

大模型微调框架（一）综述.md

大模型微调框架（三）LLama-Factory.md

大模型微调框架（二）Huggingface-PEFT.md

大模型的参数高效微调（PEFT），LoRA微调以及其它.md

04-第四章-量化2个子项

10分钟理解大模型的量化.md

assest

05-第五章-显卡与并行2个子项

Transformer架构的GPU并行和之前的NLP算法有什么不同？.md

assest

06-第六章-Prompt Engineering4个子项

COT思维链，TOT思维树，GOT思维图，这些都是什么.md

assest

万字长文Prompt-Engineering-解锁大模型的力量.md

过去式就能越狱大模型？一文了解大模型安全攻防战.md

07-第七章-Agent9个子项

10分钟了解如何进行多模态RAG.md

Agent设计范式与常见框架.md

GraphRAG解锁大模型对叙述性私人数据的检索能力（中文翻译）.md

assest

搭配Knowledge-Graph的RAG架构.md

08-第八章-大模型企业落地7个子项

CRUDETL工程师的末日从NL2SQL到ChatBI.md

assest

大模型复读机问题.md

大模型应用涌现出的新工作机会-红队测试Red-teaming.md

大模型落地难点之幻觉.md

大模型落地难点之结构化输出.md

大模型落地难点之输出的不确定性.md

09-第九章-评估指标4个子项

assest

大模型性能评测之大海捞针.md

大模型性能评测之数星星.md

大模型有哪些评估指标？.md

10-第十章-热点4个子项

assest

我是怎么通过2022下半年软考高级：系统架构设计师考试的.md

用Exploit-and-Explore解决不知道吃什么的选择困难症.md

韩国“N 号房”事件因Deep-Fake再现，探究背后的技术和应对方法.md

11-第十一章-数学2个子项

calculus3个子项

0基础学习AI大模型必备数学知识之微积分（一）.md

0基础学习AI大模型必备数学知识之微积分（二）.md

assest

linear-algebra6个子项

0基础学习AI大模型必备数学知识之线性代数（一）.md

0基础学习AI大模型必备数学知识之线性代数（三）.md

0基础学习AI大模型必备数学知识之线性代数（二）.md

0基础学习AI大模型必备数学知识之线性代数（五）.md

0基础学习AI大模型必备数学知识之线性代数（四）.md

assest

README.md

ReAct1个子项

PromptEngineeringReAct.ipynb

draft3个子项

AssertForCommonUse2个子项

assest

md4个子项

math1个子项

Probability&Statistics3个子项

0基础学习AI大模型必备数学知识之概率统计（一）贝叶斯定理和概率分布.md

0基础学习AI大模型必备数学知识之概率统计（三）中心极限定理.md

0基础学习AI大模型必备数学知识之概率统计（二）概率分布的描述方法.md

template.md

在坚冰还盖着北海的时候，我看到了怒放的梅花.md

智能体Agent的5个层次.md

pic

点赞回复