2023Transformer大盘点

2023-03-09

一、Transformer架构图

图片

二、Transformer Attention

图片

三、Transformer 生成式两大关键技术

3.1、RLHF(Reinforcement Learning from Human Feedback)

图片

3.2、Diffusion Models

图片

四、Transformer From Huggingface

图片

五、Transformer 家族

5.1、模型树

图片

5.2、模型时间轴

图片

5.3、模型大小轴

图片

六、Transformer 分类体系

图片

图片

参考文献: [1]Transformer models: an introduction and catalog — 2023 Edition:https://amatriain.net/blog/transformer-models-an-introduction-and-catalog-2d1e9039f376/ [2]Huggingface模型目录表:https://docs.google.com/spreadsheets/d/1ltyrAB6BL29cOv2fSpNQnnq2vbX8UrHl47d7FkIf6t4/edit#gid=0