努力活得更有趣。
NLP中的ATTENTION_MASK通常的作用是什么?
在Transformer模型中,注意力机制在编码和解码过程中起着至关重要的作用,而填充掩码(Pad Mask)则用于确保这些注意力机制正确处理输入序列中的无效或填充(PAD)标记。避免了Decoder在生成预测时错误地将注意力集中在这些无关的填充标记上。 填充掩码(通常称为Attention Pad
LEETCODE 31.下一个排列问题
题目 整数数组的一个 排列 就是将其所有成员以序列或线性顺序排列。 例如,arr = [1,2,3] ,以下这些都可以视作 arr 的排列:[1,2,3]、[1,3,2]、[3,1,2]、[2,3,1] 。 整数数组的 下一个排列 是指其整数的下一个字典序更大的排列。更正式地,如果数组的所有排列根据
WSL2解决/usr/lib/wsl/lib/libcuda.so.1 is not a symbolic link问题
简短地记录一下。复现条件使用APT源安装tesseract-ocr软件包,报错/usr/lib/wsl/lib/libcuda.so.1 is not a symbolic link解决方法以超级管理员权限启动CMD,运行以下命令C:cd \Windows\System32\lxss\libdel
LLAMA-30B-QA(1)
运行环境RTX4090 24GTORCH 2.0.1CUDA 11.7CUDNN 8.6.532G DDR5 内存+ 80G SWAP初阶问答Sally-Anne test心智理论由Premack & Woodruff (1978) 首次命名,他们将其定义为 “the ability to
使用bert提取词向量
为了方便记忆做一下存档代码from transformers import BertTokenizer, BertModelimport torch# 加载中文 BERT 模型和分词器model_name = "bert-base-chinese" tokenizer = Be
推荐技术栈
推荐系统技术栈总体技术流程 TODO模型构建过程实体抽取NER任务+BERT FINE-TUNE模型选取:BERT-BiLSTM-CRF&&ALBERT-BiLSTM-CRF备选模型&&消融实验对象:HMM隐马尔科夫场模型LSTM-CRF 长短期记忆+条件随机场BiL
Springboot实现后端打包压缩包功能
需求前端发送请求数组,后端返回请求集合的压缩文件。步骤梳理#render3601889927 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#render3601889927 .error
Gin框架分页的简洁实现
Gin的框架实在是太简洁了,连分页都没有。还好我们有GORM,GORM提供了一种scope方法,可以把一部分数据库请求封装起来。新建utils/pagination文件简单封装一下分页实现。package utilsimport ("errors""gorm.io/go