Chen Zhuo's Blog

向上，勇敢

Huggingface 库的一些细节用法

经常用，放在这查方便

Tokenizer from transformer import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') # 这里用 bert-base-uncase 举例 有时候需要对输入句子进行修改，然后再送进 BERT，就需要这个东西。 tokenizer.tokenize() ...

Posted by Chen Zhuo on June 20, 2022

Attention Is All You Need

第一次看着实不好懂

You just wanna attention, you don’t want my love. Attention Is All You Need https://arxiv.org/pdf/1706.03762.pdf Motivation / Abstract 目前主导的sequence transduction model 主要都基于复杂的循环、卷积神经网络...

Posted by Chen Zhuo on April 15, 2021

LSTM 和 GRU

一篇早就要完成的笔记

刚开始接触循环神经网络的时候，还没弄懂LSTM和GRU，总是在网上看到“一篇文章看懂LSTM”这种文章，但其实这种文章我看了5678篇也没看懂过。这种经常理解了就忘了，记下来自己以后看。 记录一下对LSTM and GRU的理解和pytorch用法 先定义一些符号：第 $t$ 时刻输入 $x_t$ （一般是一个vector） , 隐变量$h_t$（一般也是一个vector），$W...

Posted by Chen Zhuo on April 9, 2021

Neural Machine Translation By Jointly Learning to Align and Translate

一篇attention相关的paper

本来在看Attention is all you need，太多地方看不懂，来看这篇了 Neural Machine Translation By Jointly Learning to Align and Translate 1409.0473.pdf (arxiv.org) Abstract / Motivation （在2016年）用神经网络做翻译很广泛，但一般...

Posted by Chen Zhuo on March 11, 2021

Marrying Up Regular Expressions with Neural Networks

关于毕设的一篇ref paper

我的毕设参考的文章之一，也是一个很有趣的 idea。 Marrying Up Regular Expressions with Neural Networks: A Case Study for Spoken Language Understanding https://arxiv.org/abs/1805.05588 Main idea / Motivation ​ ...

Posted by Chen Zhuo on December 15, 2020

BERT

第一篇paper笔记献给BERT，背景是研究生要在的实验室啦

2020.12.05 一篇文章读不懂BERT BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 Abstract 与以往不同的是，BERT is designed to pretrain ...

Posted by Chen Zhuo on December 8, 2020

Hello everyone

作为个人网站的第一篇

伟大的开始 第一次尝试建立网站，在我学会更炫酷的网站设计方法之前就先用这个啦。我应该会在这里放一些学习上遇到的知识，也想记录一点生活上的、可以写成长长的记录的事。 那就慢慢开始吧。

Posted by Chen Zhuo on September 11, 2020

FEATURED TAGS
生活 Paper Notes
ABOUT ME

我爱学习，真的

✉️ chenzhuo@shanghaitech.edu.cn

FRIENDS