标签: 做点东西
所有带有此标签的文章 "做点东西".
-
AsyncT vllm适配、加速笔记（三）
更新于:最后一篇，主要囊括了AsyncT算子最终的Hopper Specilized版本算子介绍、一些最终效果的breakdown，以及对接下来可以做的工作的一些分析。下一步要对训练做些优化了。
-
AsyncT vllm适配、加速笔记（二）
更新于:加速第二篇，主要是在CUDA Kernel上做更多的优化，反思之前的Benchmarking问题等。
-
AsyncT vllm适配、加速笔记（一）
更新于:笔记的第一部分，主要覆盖了一些preliminaries，基础的vllm接入流程，以及简单的triton算子实现和最基础版本的CUDA算子实现。