本文目录
文本相似度计算（一）：距离方法
距离方法 1、文本的表示 1.1、VSM表示 1.2、词向量表示 1.3、迁移方法 2、距离计算方法 2.1、欧氏距离 （L 2 范数)、曼哈顿距离 （L 1 范数)、 明氏距离 2.2、汉明距离 2.3、Jaccard相似系数、 Jaccard距离( 1-Jaccard相似系数) 2.4、余弦距离 2.5、皮尔森相关系数 2.5、距离
场景举例： 1）计算 Query 和文档的相关度、2）问答系统中计算问题和答案的相似度、3）广告系统中计算 Query 和广告词的匹配程度、4）推荐系统中 要给某个用户推荐某件物品，计算这件物品和这个用户兴趣的相似度 更多地，判断两个query表达的意思是否相同也可以看作属于文本相似度的范畴。 相似度一定是指两个东西(姑且分别用 P 和 Q 表示)的相似程度，而这两个东西可以是任何形式的，例如文本、图片、声音等等。最终要计算相似度，那必须把这些东西抽象成数学形式，说白了 ，就是怎么用数字把 这些 东西表示出来， 一 般会表示成向量或者矩阵。那如果表示成了向量， 计算相似度就可以使用大家在数学课上学的知识了。 这里希望可以比较清晰全面地介绍一下文本相似度的计算方法，目前来说，大致分为距离、hash、深度学习三种方法。
这些所谓的距离其实都是一些 固定 的公式而己，关键在于如何应用。实际应用中可以使用tf-idf、word2vec、LDA等方法实现相似度的距离计算。
很多相似度的第一步其实都是文本的表示问题，即把文本用数字的形式表示出来，这一步目前主要有 VSM（vector space model） ，和 词向量表示 两种方式。
这种方法其实灵活性较大，可以基于分词，对于中文基于字符或n-grams的表示也有一定效果。 1） tf-idf/bow表示 ：在给定文档集合C和词典D的条件下，将某篇文档通过词袋模型表示成一个个的词，而后根据 TF-IDF 为每个词计算出一个实数值； 由于词典D的大小为M，因此 将这篇文档转化成一个M维向量 ，如果词典中某个词未出现在文档中，则这个词的在向量中对应的元素为0，若某个词出现在文档中，则这个词在向量中 对应的元素值为这个词的tf-idf值 。这样，就把文档表示成向量了，而这就是 向量空间模型(vector space model) 。从这里也可看出：向量空间模型并没有catch住词(term)与词(term)之间的关系，它假设各个term之间是相互独立的。 而有了文档向量，就可以计算文档之间的相似度了。 这种表示方法与词典大小相关，往往会使文本的表示比较稀疏且高维，可以通过PCA缓解这一问题。 2） 主题模型表示 ：实际上VSM可以作为一种文本表示的思想：把对文本内容的处理简化为向量空间中的向量运算，并且它以空间上的相似度表达语义的相似度。 在这个角度，使用LDA，LSA等主题模型同样可以完成文本的VSM表示：将文本表示为topic的向量空间。 这种方法维度可自定义（topic数），且不稀疏，但是可能存在文本对之间距离相似度分布空间密集的情况导致效果不佳。
这种方法一般直接将文本分词后 将词向量相加除以句子长度就可得到 。也可以使用如 smooth inverse frequency的加权方法 将词向量加权：每个词嵌入都由a/(a + p(w))进行加权，其中a的值经常被设置为0.01，而p(w)是词语在语料中预计出现的频率。 一般来说word2vec的词向量方法 强于glove方法 ，而对于word2vec，cbow方法强于skip-gram（具体原因并不复杂，感兴趣可以从训练方法角度思考一下～）
更多地，上述文本表示方法其实会损失或无法捕捉到语义信息，通过bert、elmo等预训练方法的表示更加靠谱，也可以用于无监督的文本相似度计算。
欧氏距离：
曼哈顿距离：
表示两个（相同长度）字对应位不同的数量，我们以d（x,y）表示两个字x,y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。
(1)雅各相似系数： 两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数，用符号J(A,B)表示。
杰卡德相似系数是衡量两个集合的相似度一种指标。 实际使用中，可以用去重与不去重两种方式计算，更多地，可以转换为交集的tf-idf值之和除以并集的tf-idf值之和
(2) 杰卡德距离 与杰卡德相似系数相反的概念是杰卡德距离(Jaccard distance)。 杰卡德距离可用如下公式表示：
杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。
夹角余弦取值范围为。夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大。当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1。文本的相似度一般取绝对值。
皮尔森相关系数在推荐系统用的较多，它的公式如下 :
指两个字符串，由一个变成另一个所需的最少的次数，这个编 就包括替换、插入、删除操作。
文本相似度的计算一般使用VSM/cbow+cos距离/欧式距离，或jaccard距离
Dice 系数可以计算两个字符串的相似度：Dice（s1,s2）=2*comm(s1,s2)/(leng(s1)+leng(s2))。
https://blog.csdn.net/weixin_43526820/article/details/89883640?spm=1001.2014.3001.5501
求曼哈顿距离 , 向量余弦相似度的优缺点
曼哈顿距离
曼哈顿距离的正式意义为L1-距离或城市区块距离，也就是在欧几里得空间的固定直角坐标系上两点所形成的线段对轴产生的投影的距离总和。
例如在平面上，座标（x1, y1）的点P1与座标（x2, y2）的点P2的曼哈顿距离为：
要注意的是，曼哈顿距离依赖座标系统的转度，而非系统在座标轴上的平移或映射。
曼哈顿距离的命名原因是从规划为方型建筑区块的城市（如曼哈顿）间，最短的行车路径而来（忽略曼哈顿的单向车道以及只存在于3、14大道的斜向车道）。任何往东三区块、往北六区块的的路径一定最少要走九区块，没有其他捷径。
出租车几何学满足除了SAS全等定理之外的希伯特定理，SAS全等指任两个三角型两个边与它们的夹角相等，则这两个三角型必全等。
在出租车几何学中，一个圆是由从圆心向各个固定曼哈顿距离标示出来的点围成的区域。因此这种圆其实就是旋转了45度的正方形。如果有一群圆，任两圆皆相交，则整群圆必在某点相交；因此曼哈顿距离会形成一个超凸度量空间（Injective metric space）。对一个半径为r 的圆来说，这个正方形的圆每边长√2r。此’"圆"的半径r对切比雪夫距离（L∞空间）的二维平面来说，也是一个对座标轴来说边长为2r的正方形，因此二维切比雪夫距离可视为等同于旋转且放大过的二维曼哈顿距离。然而这种介于L1与L∞的相等关系并不能延伸到更高的维度。
余弦相似度 在向量空间模型中，文本泛指各种机器可读的记录。用D（Document）表示，特征项（Term，用t表示）是指出现在文档D中且能够代表该文档内容的基本语言单位，主要是由词或者短语构成，文本可以用特征项集表示为D(T1，T2，…，Tn)，其中Tk是特征项，1《=k《=N。例如一篇文档中有a、b、c、d四个特征项，那么这篇文档就可以表示为D(a，b，c，d)。对含有n个特征项的文本而言，通常会给每个特征项赋予一定的权重表示其重要程度。即D＝D(T1，W1；T2，W2；…，Tn，Wn)，简记为D＝D(W1，W2，…，Wn)，我们把它叫做文本D的向量表示。其中Wk是Tk的权重，1《=k《=N。在上面那个例子中，假设a、b、c、d的权重分别为30，20，20，10，那么该文本的向量表示为D(30，20，20，10)。在向量空间模型中，两个文本D1和D2之间的内容相关度Sim(D1，D2)常用向量之间夹角的余弦值表示，公式为：其中，W1k、W2k分别表示文本D1和D2第K个特征项的权值，1《=k《=N。在自动归类中，我们可以利用类似的方法来计算待归类文档和某类目的相关度。例如文本D1的特征项为a，b，c，d，权值分别为30，20，20，10，类目C1的特征项为a，c，d，e，权值分别为40，30，20，10，则D1的向量表示为D1(30,20,20,10,0),C1的向量表示为C1（40，0，30，20，10），则根据上式计算出来的文本D1与类目C1相关度是0.86那个相关度0.86是怎么算出来的？是这样的，抛开你的前面的赘述在数学当中，n维向量是 V{v1, v2, v3, ..., vn}他的模： |v| = sqrt ( v1*v1 + v2*v2 + ... + vn*vn )两个向量的点击 m*n = n1*m1 + n2*m2 + ...... + nn*mn相似度 ＝ (m*n) /(|m|*|n|)物理意义就是两个向量的空间夹角的余弦数值对于你的例子d1*c1 = 30*40 + 20*0 + 20*30 + 10*20 + 0*10 = 2000|d1| = sqrt(30*30 +20*20 + 20*20 + 10*10 + 0*0) = sqrt(1800)|c1| = sqrt(40*40 + 0*0 + 30*30 + 20*20 + 10*10) = sqrt(3000)相似度 = d1*c1/(|d1|*|c1|)= 2000/sqrt(1800*3000)= 0.86066
————希望可以帮到您！觉得好就请点采纳答案吧，你的采纳是我的动力，谢谢！————
什么是经济学的曼哈顿路线
曼哈顿距离(出租车几何)：是由十九世纪的赫尔曼·闵可夫斯基所创词汇，是一种使用在几何度量空间的几何学用语，用以标明两个点在标准坐标系上的绝对轴距总和。
图中红线代表曼哈顿距离，绿色代表欧氏距离，也就是直线距离，而蓝色和黄色代表等价的曼哈顿距离。
