搜索引擎技术核心揭密(上)

haidong

<br>                       编者按：这是一篇精彩的编程教学文章，不但详细地剖析了搜索引擎的原理，也提供了笔者自己对使用ＰＨＰ编制搜索引擎的一些思路。整篇文章深入浅出，相信无论是高手还是菜鸟，都能从中得到不少的启发。 <BR><BR>　　谈到网页搜索引擎时，大多数人都会想到雅虎。的确，雅虎开创了一个互联网络的搜索时代。然而，雅虎目前用于搜索网页的技术却并非该公司原先自己开发的。2000年8月，雅虎采用了Google（www.google.com）这家由斯坦福大学学生创建的风险公司的技术。理由非常简单，Google的搜索引擎比雅虎先前使用的技术能更快、更准确搜索到所需要的信息。 <BR><BR>　　让我们自己来设计、开发一个强劲、高效的搜索引擎和数据库恐怕短时间内在技术、资金等方面是不可能的，不过，既然雅虎都在使用别人的技术，那么我们是不是也可以使用别人现成的搜索引擎网站呢？ <BR><BR>剖析编程思路 <BR><BR>　　我们可以这样设想：模拟一个查询，向某个搜索引擎网站发出相应格式的搜索命令，然后传回搜索结果，对结果的HTML代码进行分析，剥离多余的字符和代码，最后按所需要的格式显示在我们自己的网站页面里。 <BR><BR>　　这样，问题的关键就在于，我们要选定一个搜索信息准确（这样我们的搜索才会更有意义啊）、速度快（因为我们分析搜索结果并显示需要额外的时间），搜索结果简洁（便于进行HTML源代码分析和剥离）的搜索网站，由于新一代搜索引擎Google的各种优良特性，这里我们选择它为例，来看看用PHP怎样实现后台对Google(www.google.com)搜索、前台个性化显示这一过程。 <BR><BR>　　我们先来看看Google的查询命令的构成。进入www.google.com网站，在查询栏中输入“abcd”，点击查询按钮，我们可以发现浏览器的地址栏变成："http://www.google.com/search?q=abcd&amp;btnG=Google%CB%D1%CB%F7&amp;hl=zh-CN&amp;lr="，可见，Google是通过表单的get方式来传递查询参数并递交查询命令的。我们可以使用PHP中的file()函数来模拟这个查询过程。 <BR><BR>了解File（）函数 <BR><BR>　　语法: array file(string filename); <BR><BR>　　返回值为数组，将文件全部读入数组变量中。这里的文件可以是本地的，也可以是远程的，远程文件必须指明所使用的协议。例如： result=file(“http://www.google.com/search?q=abcd&amp;btnG=Google%CB%D1%CB%F7&amp;hl=zh-CN&amp;lr=”)，该语句将模拟我们在Google上查询单词“abcd”的过程，并将搜索结果以每行为元素，传回到数组变量 result中。因为这里读取的文件是远程的，所以协议名“http://”不能缺少。 <BR><BR>　　如果要让用户输入搜索字符进行任意搜索，我们可以做一个输入文本框和提交按钮，并将上文中的被搜索字符“abcd”用变量替换： <BR>　　&lt;?php <BR>　　echo '&lt;form&gt;'; //没有参数的form，默认提交方式为get，提交到本身 <BR>　　echo '&lt;input type="text" name="keywords"&gt;'; //构造一个文本输入框 <BR>　　echo '&lt;input type="submit" value="查询"&gt;'; //构造一个提交查询按钮 <BR>　　echo '&lt;/form&gt;'; <BR><BR>　　if (isset( keywords)) //提交后PHP会生成变量 kwywords,即要求下面的程序在提交后运行 <BR>　　{ <BR>　　urlencode( keywords); //对用户输入内容进行URL编码 <BR>　　result=file("http://www.google.com/search?q=". keywords."&amp;btnG=Google%CB%D1%CB%F7&amp;hl=zh-CN&amp;lr="); <BR>//对查询语句进行变量替换,将查询结果保存在数组变量 result中 <BR>　　result_string=join(" ", result); //将数组$result合并成字符串，各数组元素之间用空格粘和 <BR>　　... //进一步处理 <BR>　　} <BR>　　?&gt; <BR><BR>　　上面的这段程序已经能按用户输入内容进行查询，并将返回的结果合成一个字符串变量$result_string。请注意要使用urlencode()函数将用户输入内容进行URL编码，才可以正常地对输入的汉字、空格以及其他特殊字符进行查询，这样做也是尽可能逼真地模拟Google的查询命令，保证搜索结果的正确性。                   <br><br>