- Transformer
- TPU
- Compiler
- AutoTuner
- FPGA
- CGRA
- Systolic Array
- AI Accelerator
- Computer Architecture
- AI
•
•
•
•
•
•
•
•
•
-
从计算粒度与数据流，看 FPGA、CGRA 与脉动阵列
以深度学习硬件加速为背景，理解计算粒度、数据流与可重构性之间的取舍。
-
Transformer位置编码(3)——从RoPE到YaRN外推
从 RoPE 的长度外推问题出发，解析 YaRN 的 NTK-by-parts 与注意力缩放。
-
论文阅读(1)——TpuGraphs
TpuGraphs 论文阅读笔记：面向大型张量计算图的性能预测数据集。
-
Transformer位置编码(2)——RoPE
系统梳理 RoPE 的原理、数学形式及其在 Transformer 中的实现逻辑。
-
Transformer位置编码(1)——初探
从自注意力的置换不变性出发，梳理绝对、相对与旋转位置编码的基本思路。