努力活得更有趣。

NLP中的ATTENTION_MASK通常的作用是什么?

在Transformer模型中,注意力机制在编码和解码过程中起着至关重要的作用,而填充掩码(Pad Mask)则用于确保这些注意力机制正确处理输入序列中的无效或填充(PAD)标记。避免了Decoder在生成预测时错误地将注意力集中在这些无关的填充标记上。 填充掩码(通常称为Attention Pad
阅读更多 >

LEETCODE 31.下一个排列问题

题目 整数数组的一个 排列 就是将其所有成员以序列或线性顺序排列。 例如,arr = [1,2,3] ,以下这些都可以视作 arr 的排列:[1,2,3]、[1,3,2]、[3,1,2]、[2,3,1] 。 整数数组的 下一个排列 是指其整数的下一个字典序更大的排列。更正式地,如果数组的所有排列根据
阅读更多 >

WSL2解决/usr/lib/wsl/lib/libcuda.so.1 is not a symbolic link问题

简短地记录一下。复现条件使用APT源安装tesseract-ocr软件包,报错/usr/lib/wsl/lib/libcuda.so.1 is not a symbolic link解决方法以超级管理员权限启动CMD,运行以下命令C:cd \Windows\System32\lxss\libdel
阅读更多 >

重新编译Nginx启用HTTP/3协议

阅读更多 >

LLAMA-30B-QA(1)

运行环境RTX4090 24GTORCH 2.0.1CUDA 11.7CUDNN 8.6.532G DDR5 内存+ 80G SWAP初阶问答Sally-Anne test心智理论由Premack & Woodruff (1978) 首次命名,他们将其定义为 “the ability to
阅读更多 >

使用bert提取词向量

为了方便记忆做一下存档代码from transformers import BertTokenizer, BertModelimport torch# 加载中文 BERT 模型和分词器model_name = "bert-base-chinese" tokenizer = Be
阅读更多 >

推荐技术栈

推荐系统技术栈总体技术流程 TODO模型构建过程实体抽取NER任务+BERT FINE-TUNE模型选取:BERT-BiLSTM-CRF&&ALBERT-BiLSTM-CRF备选模型&&消融实验对象:HMM隐马尔科夫场模型LSTM-CRF 长短期记忆+条件随机场BiL
阅读更多 >

Springboot实现后端打包压缩包功能

需求前端发送请求数组,后端返回请求集合的压缩文件。步骤梳理#render3601889927 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#render3601889927 .error
阅读更多 >

Gin框架分页的简洁实现

Gin的框架实在是太简洁了,连分页都没有。还好我们有GORM,GORM提供了一种scope方法,可以把一部分数据库请求封装起来。新建utils/pagination文件简单封装一下分页实现。package utilsimport ("errors""gorm.io/go
阅读更多 >

节前思绪之二

博客开张也有四年了,20年初做平台迁移的时候,把markdown记录毁掉了,可惜了1819年写的几篇文章,也没做归档。从热衷于尝试各个平台的我现在对平台切换也逐渐变得无动于衷了,也许最后的归宿都是wordpress吧。halo这个平台可以说刚刚好,也懒得换了,唯一一点不好就是默认主题没法在文章中插入
阅读更多 >