Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于bert输出特征和图节点对应关系的问题 #3

Open
Jmugh opened this issue Aug 26, 2021 · 2 comments
Open

关于bert输出特征和图节点对应关系的问题 #3

Jmugh opened this issue Aug 26, 2021 · 2 comments

Comments

@Jmugh
Copy link

Jmugh commented Aug 26, 2021

你好:
请问 怎么获取句子单词的表示的啊,比如,"I need an embedding ." 句法分析 获得每个单词之间的依赖关系,应该是一个单词一个节点吧?(没用过Stanford corenlp)是5个节点。 然后bert得到的是[CLS] I need an em ##bed ##ing , [SEP] 输出的是9个tensor
怎么把图和特征对应起来的呢
谢谢
(看了一点点你的代码 写的是真不错)

@yuanheTian
Copy link
Contributor

yuanheTian commented Aug 27, 2021

你好:
请问 怎么获取句子单词的表示的啊,比如,"I need an embedding ." 句法分析 获得每个单词之间的依赖关系,应该是一个单词一个节点吧?(没用过Stanford corenlp)是5个节点。 然后bert得到的是[CLS] I need an em ##bed ##ing , [SEP] 输出的是9个tensor
怎么把图和特征对应起来的呢
谢谢
(看了一点点你的代码 写的是真不错)

您好,感谢您关注我们的文章。

对于您提到的问题,我们采用的方法是,如果 BERT 把一个词分为多个 word piece,我们会用第一个 word piece 的 representation 来代表这个词,其余 word piece 的表征不会在后续模型中使用。也就是说,对于您提到的例子,我们会使用 I need an em . 的表征(共5个),用于后续计算。

希望上述回答能够帮到您。

谢谢,
Yuanhe

@Jmugh
Copy link
Author

Jmugh commented Aug 27, 2021

嗯嗯 好的 解释的很清楚 。非常感谢。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants