一个用php写的中文分词类-php - Powered by Discuz! Archiver

haidong 发表于 2010-2-24 13:43:23

一个用php写的中文分词类

<OL><LI><CODE><?php</CODE><LI><CODE>class Segmentation {</CODE><LI><CODE> var $options = array('lowercase' => TRUE,</CODE><LI><CODE> 'segment_english' => FALSE);</CODE><LI><CODE> var $dict_name = 'Unknown';</CODE><LI><CODE> var $dict_words = array();</CODE><LI><CODE> function setLowercase($value) {</CODE><LI><CODE> if ($value) {</CODE><LI><CODE> $this->options['lowercase'] = TRUE;</CODE><LI><CODE> } else {</CODE><LI><CODE> $this->options['lowercase'] = FALSE;</CODE><LI><CODE> }</CODE><LI><CODE> return TRUE;</CODE><LI><CODE> }</CODE><LI><CODE> function setSegmentEnglish($value) {</CODE><LI><CODE> if ($value) {</CODE><LI><CODE> $this->options['segment_english'] = TRUE;</CODE><LI><CODE> } else {</CODE><LI><CODE> $this->options['segment_english'] = FALSE;</CODE><LI><CODE> }</CODE><LI><CODE> return TRUE;</CODE><LI><CODE> }</CODE><LI><CODE> function load($dict_file) {</CODE><LI><CODE> if (!<A href="http://www.php.net/manual/zh/function.file_exists">file_exists</A>($dict_file)) {</CODE><LI><CODE> return FALSE;</CODE><LI><CODE> }</CODE><LI><CODE> $fp = <A href="http://www.php.net/manual/zh/function.fopen">fopen</A>($dict_file, 'r');</CODE><LI><CODE> $temp = <A href="http://www.php.net/manual/zh/function.fgets">fgets</A>($fp, 1024);</CODE><LI><CODE> if ($temp === FALSE) {</CODE><LI><CODE> return FALSE;</CODE><LI><CODE> } else {</CODE><LI><CODE> if (<A href="http://www.php.net/manual/zh/function.strpos">strpos</A>($temp, "\t") !== FALSE) {</CODE><LI><CODE> list ($dict_type, $dict_name) = <A href="http://www.php.net/manual/zh/function.explode">explode</A>("\t", <A href="http://www.php.net/manual/zh/function.trim">trim</A>($temp));</CODE><LI><CODE> } else {</CODE><LI><CODE> $dict_type = <A href="http://www.php.net/manual/zh/function.trim">trim</A>($temp);</CODE><LI><CODE> $dict_name = 'Unknown';</CODE><LI><CODE> }</CODE><LI><CODE> $this->dict_name = $dict_name;</CODE><LI><CODE> if ($dict_type !== 'DICT_WORD_W') {</CODE><LI><CODE> return FALSE;</CODE><LI><CODE> }</CODE><LI><CODE> }</CODE><LI><CODE> while (!<A href="http://www.php.net/manual/zh/function.feof">feof</A>($fp)) {</CODE><LI><CODE> $this->dict_words[<A href="http://www.php.net/manual/zh/function.rtrim">rtrim</A>(<A href="http://www.php.net/manual/zh/function.fgets">fgets</A>($fp, 32))] = 1;</CODE><LI><CODE> }</CODE><LI><CODE> <A href="http://www.php.net/manual/zh/function.fclose">fclose</A>($fp);</CODE><LI><CODE> return TRUE;</CODE><LI><CODE> }</CODE><LI><CODE> function getDictName() {</CODE><LI><CODE> return $this->dict_name;</CODE><LI><CODE> }</CODE><LI><CODE> function segmentString($str) {</CODE><LI><CODE> if (<A href="http://www.php.net/manual/zh/function.count">count</A>($this->dict_words) === 0) {</CODE><LI><CODE> return FALSE;</CODE><LI><CODE> }</CODE><LI><CODE> $lines = <A href="http://www.php.net/manual/zh/function.explode">explode</A>("\n", $str);</CODE><LI><CODE> return $this->_segmentLines($lines);</CODE><LI><CODE> }</CODE><LI><CODE> function segmentFile($filename) {</CODE><LI><CODE> if (<A href="http://www.php.net/manual/zh/function.count">count</A>($this->dict_words) === 0) {</CODE><LI><CODE> return FALSE;</CODE><LI><CODE> }</CODE><LI><CODE> $lines = <A href="http://www.php.net/manual/zh/function.file">file</A>($filename);</CODE><LI><CODE> return $this->_segmentLines($lines);</CODE><LI><CODE> }</CODE><LI><CODE> function _segmentLines($lines) {</CODE><LI><CODE> $contents_segmented = '';</CODE><LI><CODE> foreach ($lines as $line) {</CODE><LI><CODE> $contents_segmented .= $this->_segmentLine(<A href="http://www.php.net/manual/zh/function.rtrim">rtrim</A>($line)) . " \n";</CODE><LI><CODE> }</CODE><LI><CODE> do {</CODE><LI><CODE> $contents_segmented = <A href="http://www.php.net/manual/zh/function.str_replace">str_replace</A>('', ' ', $contents_segmented);</CODE><LI><CODE> } while (<A href="http://www.php.net/manual/zh/function.strpos">strpos</A>($contents_segmented, '') !== FALSE);</CODE><LI><CODE> return $contents_segmented;</CODE><LI><CODE> }</CODE><LI><CODE> function _segmentLine($str) {</CODE><LI><CODE> $str_final = '';</CODE><LI><CODE> $str_array = array();</CODE><LI><CODE> $str_length = <A href="http://www.php.net/manual/zh/function.strlen">strlen</A>($str);</CODE><LI><CODE> if ($str_length > 0) {</CODE><LI><CODE> if (<A href="http://www.php.net/manual/zh/function.ord">ord</A>($str{$str_length-1}) >= 129) {</CODE><LI><CODE> $str .= ' ';</CODE><LI><CODE> }</CODE><LI><CODE> }</CODE><LI><CODE> for ($i=0; $i<$str_length; $i++) {</CODE><LI><CODE> if (<A href="http://www.php.net/manual/zh/function.ord">ord</A>($str{$i}) >= 129) {</CODE><LI><CODE> $str_array[] = $str{$i} . $str{$i+1};</CODE><LI><CODE> $i++;</CODE><LI><CODE> } else {</CODE><LI><CODE> $str_tmp = $str{$i};</CODE><LI><CODE> for ($j=$i+1; $j<$str_length; $j++) {</CODE><LI><CODE> if (<A href="http://www.php.net/manual/zh/function.ord">ord</A>($str{$j}) < 129) {</CODE><LI><CODE> $str_tmp .= $str{$j};</CODE><LI><CODE> } else {</CODE><LI><CODE> break;</CODE><LI><CODE> }</CODE><LI><CODE> }</CODE><LI><CODE> $str_array[] = array($str_tmp);</CODE><LI><CODE> $i = $j - 1;</CODE><LI><CODE> }</CODE><LI><CODE> }</CODE><LI><CODE></CODE><LI><CODE> $pos = <A href="http://www.php.net/manual/zh/function.count">count</A>($str_array);</CODE><LI><CODE> while ($pos > 0) {</CODE><LI><CODE> $char = $str_array[$pos-1];</CODE><LI><CODE> if (<A href="http://www.php.net/manual/zh/function.is_array">is_array</A>($char)) {</CODE><LI><CODE> $str_final_tmp = $char;</CODE><LI><CODE> if ($this->options['segment_english']) {</CODE><LI><CODE> $str_final_tmp = <A href="http://www.php.net/manual/zh/function.preg_replace">preg_replace</A>("/([\!\"\#\$\%\&\'\*\+\,\-\.\/\:\;\<\=\>\?\@\[\\\\\]\^\_\`\{\|\}\~\t\f]+)/", " $1 ", $str_final_tmp);</CODE><LI><CODE> $str_final_tmp = <A href="http://www.php.net/manual/zh/function.preg_replace">preg_replace</A>("/([\!\"\#\$\%\&\'\*\+\,\-\.\/\:\;\<\=\>\?\@\[\\\\\]\^\_\`\{\|\}\~\t\f])([\!\"\#\$\%\&\'\*\+\,\-\.\/\:\;\<\=\>\?\@\[\\\\\]\^\_\`\{\|\}\~\t\f])/", " $1 $2 ", $str_final_tmp);</CODE><LI><CODE> }</CODE><LI><CODE> if ($this->options['lowercase']) {</CODE><LI><CODE> $str_final_tmp = <A href="http://www.php.net/manual/zh/function.strtolower">strtolower</A>($str_final_tmp);</CODE><LI><CODE> }</CODE><LI><CODE> $str_final = " $str_final_tmp$str_final";</CODE><LI><CODE> $pos--;</CODE><LI><CODE> } else {</CODE><LI><CODE> $word_found = 0;</CODE><LI><CODE> $word_array = array(0 => '');</CODE><LI><CODE> if ($pos < 4) {</CODE><LI><CODE> $word_temp = $pos + 1;</CODE><LI><CODE> } else {</CODE><LI><CODE> $word_temp = 5;</CODE><LI><CODE> }</CODE><LI><CODE> for ($i=1; $i<$word_temp; $i++) {</CODE><LI><CODE> $word_array[$i] = $str_array[$pos-$i] . $word_array[$i-1];</CODE><LI><CODE> }</CODE><LI><CODE> </CODE><LI><CODE> for ($i=($word_temp-1); $i>1; $i--) {</CODE><LI><CODE> </CODE><LI><CODE> if (<A href="http://www.php.net/manual/zh/function.array_key_exists">array_key_exists</A>($word_array[$i], $this->dict_words)) {</CODE><LI><CODE> $word_found = $i;</CODE><LI><CODE> break;</CODE><LI><CODE> }</CODE><LI><CODE> }</CODE><LI><CODE> if ($word_found) {</CODE><LI><CODE> $str_final = " $word_array[$word_found]$str_final";</CODE><LI><CODE> $pos = $pos - $word_found;</CODE><LI><CODE> } else {</CODE><LI><CODE> $str_final = " $char$str_final";</CODE><LI><CODE> $pos--;</CODE><LI><CODE> }</CODE><LI><CODE> }</CODE><LI><CODE> }</CODE><LI><CODE> return $str_final;</CODE><LI><CODE> }</CODE><LI><CODE>}</CODE><LI><CODE>?></CODE></LI></OL>

页: [1]

鸿鹄论坛's Archiver

一个用php写的中文分词类