BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingPaper | Talk Part1. 标题&作者Pre-trai

ML知识点汇总1.LSTM 原理分析 2.预训练思想有了图像领域预训练的引入，我们在此给出预训练的思想：任务 A 对应的模型 A 的参数不再是随机初始化的，而是通过任务 B 进行预先训练得到模型 B，然后利用模型 B 的参数对模型 A

Attention Is All You NeedPaper | Talk Part1. 标题&作者Transformer开创了继MLP、CNN和RNN之后的第四大类模型。 xxx is all you need Part2.

工具用法总结Online Essay pytorch篇 torch.matmul：用于执行矩阵乘法。它支持多种维度的矩阵运算，包括两个2D矩阵的乘法，以及高维矩阵的乘法（批量矩阵乘法） 该行为取决于张量的维数 如果两个张量都是一维，