...推荐五本有尺度且有思考的经典之作冲作品冲小说冲创作
2004年，北京银行由北京市商业银行成功更名为“北京银行”。2007年，北京银行成功登陆上海证券交易所，创造了股权清理最难、上市进程最快、融资效率最高、冻结资金最多等多项记录。北京银行的总资产规模也从成立初不到1万亿元增长至3.2万亿元，成为首家总资产突破3万亿元的城商行；归母净利润从不到90亿元增长至200亿元以上，分支机构从200余家增长至640余家，经营绩效持续保持上市银行较好水平。
2024年12月27日，一个沙哑而有磁性的声音在身后响起。我回头一看，一位须发皆白的老者正弯腰捡起了我的书，微笑着向我走来。
...推荐五本有尺度且有思考的经典之作冲作品冲小说冲创作
数据处理之搜索如何命中2020-01-12 19:25·人人都是产物经理本文主要讲解了用户在搜索的时候是怎么命中的enjoy~通过本文你可以了解到：了解搜索过程的基本原理：如何根据关键字匹配内容如何返回搜索结果如何将结果展示给用户；在搜索场景下更合理的划定搜索范围（输入内容命中哪些字段）提高用户搜索效率提高数据搜索基线；提高日常工作中搜索的效率更快更准地搜到自己想要的东西用户搜索的过程：用户输入关键词系统根据用户输入的内容筛选出系统认为用户感兴趣的信息然后按照系统所设定的规则进行排序整个过程可拆解为三步：分词、筛选、排序在了解分词前先看下搜索的存储原理：在系统词库和索引库之间建立关联通过用户输入的关键词去匹配词库然后拉取索引库内容展示给用户以在美食网站搜索北京最大的火锅店为例索引库中内容为系统内所有店铺每个店铺包含的字段有店名、位置、月销量、评论量、评分等等；词库中内容为系统内的词条只要用户输入的内容能够匹配到词条就可以快速找到词条对应的索引内容无法匹配到词条时就没有返回结果每个系统都有自己的词库搜索的很多优化都是集中在词库的优化上一、分词分词是对用户输入的信息进行解读是自然语言处理的重要步骤同机器学习原理一样分词将非结构化的数据转化为结构化数据结构化的数据就可以转化为数学问题了解决数学问题正是计算机之所长1.1 分词的原因搜索系统的词库无论如何优化、完善都是有限的但用户的输入是没有限制的那么如何把用户无限制的输入对应到有限的词库并返回结果呢这就需要引入一个新的概念——分词简单说就是：系统在对用户输入的内容无法精确匹配时会将内容进行切分使切分后的词能够匹配到系统的词库仍以上图为例如果用户输入北京最大的火锅店系统中并没有这个词精确匹配的情况下没有任何结果此时会将输入内容进行切分于是北京最大的火锅店——> 北京、最大、的、火锅店拆解后每个词就匹配到了相应的内容排序后就会返回结果并不是所有的词都会返回有价值的结果比如案例中的的几乎所有的信息里面都会含有这个字因此在系统分词时会被直接忽略掉1.2 分词的种类、区别分词有两种中文分词和英文分词二者有着本质的区别区别1：分词方式不同中文分词更难更复杂英文有天然的空格作为分隔符但中文没有如何将一段中文进行拆分是一个难点切分时断点不同造成的结果也不同（即歧义识别）如我们三人一组就可以有两种分词方式：我们三人/一组和我们/三人一组还有一个难点是新词识别即识别未在词典中收录的词区别2：英文单词有多种形态英文单词存在着丰富的变形和变换如复数形式过去式、正在进行式等为了应对这些复杂的变换在处理英文时会进行词形还原和词干提取词形还原：does、did、done、doing会通过词形还原转化为do；词干提取：cities、children、trees会通过词干提取转化为city、child、tree区别3：中文分词需要考虑分词粒度的问题分词粒度不同返回的结果也不同如北京科学技术研究院就有多种分法：北京科学技术研究院、北京/科学技术/研究院、北京/科学/技术/研究院粒度越大表达的意思就越准确但是返回的结果也就越少因此在分词是要根据不同的场景和要求选择不同的分词粒度1.3 分词的方法① 基于词典分词基于词典匹配是最早的分词方法比较典型的有：正向最大匹配法、逆向最大匹配法、双向最大匹配法（1）正向最大匹配法step1：匹配时从前往后取词取前m个字（m为词典里最长的词的字数）开始扫描；step2：若这m个词扫描有结果则匹配成功将m个词切分出来语句中剩下的词继续进行切分；step3：若这m个词扫描无结果则取前m-1个字继续扫描每次减一个字直到词典命中或剩下1个字；step4：重复以上步骤直至语句全部匹配完成（2）逆向最大匹配法匹配时从后往前取词其他逻辑和正向相同（3）双向最大匹配法由于正向最大匹配法和逆向最大匹配法都有其局限性因此产生了双向最大匹配法即按照正向和逆向分别进行切分然后进行对比选取其中一种分词结果输出对比原则：①如果正反向分词结果词数不同则取分词数量少的那个；② 如果词数相同且结果也相同返回任意一个如果词数相同但结果不同取单字数量较少的那个（单字越少越准确）上面提到的几种切分方法是从不同的角度来处理歧义问题每种方法只能解决有限类别的歧义问题随着词典的增大词与词之间的交叉更加严重歧义带来的负面影响也更加严重同时上面提到的切分方法对于新词的切分是完全无能为力的② 基于统计分词基于统计分词有两类第一类是统计取词法（或无词典分词法）把每个词看做是由字组成的如果相连的字在不同文本中出现的次数越多就证明这段相连的字很有可能就是一个词举例：比如词a出现的概率为P(a)词b出现的概率为P(b)a+b这个词组出现的概率为P(a+b)如果P(a+b)>P(a)*P(b)则能证明a+b不是一个随机出现的组合要么是一个新词要么是个词组或者短语但这种方法也有一定的局限性会经常抽出一些共现频度高、但并不是词的常用字组例如这一、之一、有的、我的、许多的等并且对常用词的识别精度差成本大在实际应用中通常结合词典分词的方法使用既发挥了词典分词切分速度快、效率高的特点又利用了无词典分词结合上下文识别生词、自动消除歧义的优点另一类是基于统计机器学习的方法在给定大量已经分词的文本的前提下利用统计机器学习、模型学习词语切分的规律（称为训练）从而实现对未知文本的切分这种方法的缺点就是需要有大量预先分好词的语料作支撑而且训练的成本也很高比较经典的是N元文法模型（N-gram）N元模型(N-gram)切词基于N元模型的切词策略是：一段文本存在多种可能的切分结果（切分路径）将训练好的N-gram模型进行路径计算得到最优切分路径并返回结果举例：对他说的确实在理进行切词在N-gram模型的算法中每个路径上的边都是一个N-gram的概率于是得到如下概率路径有向图：可能的切分路径有：他说/的确/实在/理 、他说的/确实/在理、 他说的/确/实在/理、 他/说/的确/实在/理、 他/说的/确/实在/理……假设随机变量S为一个汉字序列W是S上所有可能的切分路径（如上图所有从头至尾的不同路径）对于分词实际上就是求解使条件概率P(W∣S)最大的切分路径W*P(W∣S)即为每条路径的衡量标准至此分词任务就转变成了一个数学问题③ 基于序列标注分词基于序列标注分词是把分词过程视为字在字串中的标注问题（例如将字标注为首字中间字尾字或者其他标注方式）当这些标注完成的时候切词也就自然完成了这种策略能够平衡地看待字典词和新词（未收录到词典的词）的识别问题大大简化了使用门槛并得到一个相当不错的切词结果如条件随机场(CRF)、隐马尔科夫模型(HMM)、最大熵算法、神经网络分词模型等隐马尔科夫模型(HMM)切词将文字序列按照词首、词中、词尾、单字词进行标注举例：研究生说的确实在理当每个字的标注都得出的时候切词也就顺理成章得完成了二、筛选将用户输入的信息进行切分后对引库中的内容进行匹配筛选判定用户想要的结果是否被筛选出来一般会从精确率（Precision）、召回率（Recall）和F1（F1-Measure）值三个维度进行衡量这也是搜索优化中是关键性指标涉及到人工打分和更高级的优化精确率：所有搜到的内容里面相关的内容的比例召回率：所有应该搜到的内容里面真正被搜出来的比例举例：假设此时有7个桔子和3个苹果放在一起我想筛选出所有的桔子系统最终筛选出了6个其中有4个桔子那么精确率P=4/6召回率R=4/7F1值：精确值和召回率的调和均值, 也就是：Q：为什么会有F1值的存在呢有精确率和召回率不够吗A：答案是：不够正常情况下我们是期望精确率和召回率越高越好但这两者在某些情况下是相互矛盾的仍以桔子苹果为例如果系统只筛选出了1个桔子那么精确率就是100%召回率是1/7就会很低；如果系统一次筛选出了10个那么召回率就是100%精确率就只有70%除此之外还有一个比较容易混淆的概念：准确率(Accuracy)即判断正确的数目与总数目的比值其中判断正确的数目包含筛选出的符合要求的和未筛选出的不符合要求的仍以桔子苹果为例准确率A=（4+1）/10=50%即系统正确筛选出的水果（正确识别了4个桔子+正确识别了1个苹果）与总数的比值准确率一般不用于搜索召回的衡量原因是若上例中苹果数量为100万个桔子7个时那么不管怎么筛选准确率都是99.99%+显然这是不符合要求的三、排序排序影响着搜索的结果质量越往前的结果越容易获得用户的点击好的搜索不仅仅是把应该搜索的内容尽可能的搜索出来同时还要考虑把最容易吸引用户的内容展示在前面因此这里就涉及到两个因素：文本数据和业务数据3.1 文本数据文本数据即文本的相关性分数乘以权重对于如何计算文本的相关性市面上已经有成熟的开源解决方案如Lucene算法然后根据文本类型给出相应的权重比如系统中有标题、描述和正文三种文本根据重要性分别赋予不同权重：标题权重为10导语权重为5正文权重为13.2 业务数据业务数据即数据的分数乘以权重对于数据的分数是数据具体的值然后根据业务类型给出相应的权重比如系统中有评论量、分享数、阅读量三种数据根据重要性分别赋予不同权重：评论数权重为10分享数权重为20阅读量权重为1举例：以基于Lucence的Solr系统为例得分公式如下：其中Nx为文本分数权重Mx为文本数据相关性分数Ky为数据分数权重Ly为数据分数由此可以看出对文本数据和业务数据赋予的权重直接影响最终的排序结果如何赋值、赋予何值需要基于对业务的理解和认知这也是一个搜索系统设计最核心的部分作者：墨白公众号：UED_family本文由 @墨白 原创发布于人人都是产物经理未经许可禁止转载题图来自Unsplash基于CC0协议
每天需要面对的，都是不得不处理的琐事，和不得不面对的颓势。简单实用的烹饪建议