知识表示学习的主要方法

三元组：（head,relation,tail）

距离模型 structured embedding

$f_r(h,t) = |M_{r,1}I_h - M_{r,2}I_t |_{L1}$
含义：对头尾实体分别用关系矩阵投影
缺陷：使用两个不同的矩阵投影，协调性较差，往往无法精确刻画两实体与关系间的语义联系。

单层神经网络 single layer model

$f_r(h,t) = u_r^Tg(M_{r,1}I_h + M_{r,2}I_t )$
缺陷：复杂度大，仅仅加入了微弱的联系

能量模型 semantic matching energy

$f_r(h,t) = (M_1l_h+M_2l_r+b_1)^T(M_3l_t+M_4l_r+b_2)$
$f_r(h,t) = (M_1l_h \circ M_2l_r+b_1)^T(M_3l_t \circ M_4l_r+b_2)$

双线性模型 latent factor model

$f_r(h,t) = l_h^TM_rl_t$
DISMULT模型还探索了LFM的简化形式，模型效果反而得到显著提升

矩阵分解模型 matrix decomposition

如果(h,r,t)存在，则X_{hrt} =1，否则为0。代表模型RESACL。RESCACL与LFM思路类似，只是RESACL不仅优化知识库中有的表示，还优化不存在的，包括0位置。LFM只优化知识库中有的。

翻译模型

$f_r(h,t) = \|l_{h}+l_{r}-l_{t}\|_{L1|L2}$
TransE
$L = \Sigma_{(h,r,t)\in S} \Sigma_{(h^{'},r^{'},t^{'})\in S^{'}}max(0,f_r(h,t)+\gamma - f_{r^{'}}(h^{'},t^{'}))$

循环相关

$[l_h \star l_t]_k = \Sigma_{i=0}^{d-1}l_{h_i}l_{t_{i+k} \mod d}$
$f_r(h,t) = \sigma(l_r^T(l_h \star l_r))$
$\sigma(x) = \frac {1} {1+e^{-x}}$

TransH

$l_{h_r} = l_h - w_r^Tl_hw_r$
$l_{t_r} = l_t - w_r^Tl_tw_r$
$f_r(h,t)=\| l_{h_r} +l_r -l_{t_r} \|_{L1/L2}$

TransR

$l_{h_r} = l_h M_r$
$l_{t_r} = l_t M_r$
$f_r(h,t)=\| l_{h_r} +l_r -l_{t_r} \|_{L1/L2}$

TransD

$M_{rh} = l_{r_p} l_{h_p} + I^{d \times k}$
$M_{rt} = l_{r_p} l_{t_p} + I^{d \times k}$
$f_r(h,t)=\| l_hM_{r_h} +l_r -l_tM_{rt} \|_{L1/L2}$

TranSparse

将投影矩阵函数化

TransA

$f_r(h,t)=（l_{h_r} +l_r -l_{t_r})^T W_{r}(l_{h_r} +l_r -l_{t_r})$
TransA
对每个维度进行加权。

TransG

$l_t-l_h | l_r \sim \Sigma_{m=1}^M \pi_{r,m} N(\mu_{r,m},I)$

KG2E

使用高斯分布建模

DKRL

关系路径建模

PTransE