Tutorial
#并行计算 #摩尔线程 #英伟达
Youtube博主 大黃和她的視界 的视频
- 1:24 GPU的前世今生
- CUDA的起源：2004年斯坦福研究生Ian Buck发明 Brook语言用于GPU编程。
- 8:42 GPU核心功效
- 1999年，#英伟达 推出GeForce256芯片，包括着色器编程框架用于顶点变换，光照追踪等图形计算。
- Ian Buck发现对着色器稍作修改就可以实现并行计算和科学计算的功能，Ian 2004年提出了将GPU虚拟成流处理器来管理 #并行计算 的想法，
- 2006 年，Ian加入英伟达，而CUDA就是实现他2004年发表论文想法的编程框架。
- CUDA是一个C语言函数库，包括核函数和主机函数，核函数操作GPU，主机函数操作CPU。当程序需要做矩阵或向量变换等并行计算的时候，只需要简单的调用CUDA的核函数，具体的并行计算的规划和实现由CUDA在后台完成。
- CUDA之前，GPU只用于着色计算，CUDA使GPU增加了科学计算和AI计算的能力
- 15:50 英偉達為何能獨占鰲頭
- 硬件设计方面，和Google的张量处理器（TPU）相比，英伟达的GPU设计更适合2016年后的主流Transformer模型训练需求并更能满足AI对图像处理的需求。
- 软件方面，基于CUDA开发的各种AI开发工具比如PyTorch形成了无法替代的护城河。
- 20:00 中國GPU企業如何生存
- 华为的升腾芯片虽然性能超过英伟达A100，但是它只提供AI计算能力，没有图形处理能力；中国大陆唯一能提供AI+GPU芯片的供应商是2020年刚成立的 #摩尔线程。