[分享]漢語分詞標注、眉注、音標與英文詞意對應程式測試

湘里妹子 · 发表于 2003-12-6 23:22:01

水电工君，今天上课想把您的程式调出来给学生展示一下，随便打了下面这句话，结果“分词”结果很不尽人意，您看看，这是怎么了？

在您的程式里显示的结果是：

其实  结  不结婚并不是很重要的

--------------------------------------------------------------------------------------------------

按词的正确划分应该是：

其实结  不  结婚并不是很重要的

---------------------------------------------------------------------------------------------------------
按语义划分也可以是：

其实结不结婚并不是很重要  的

结不结婚是结婚不结婚-----正反并列的联合短语，但是，“婚“又不能独立成词，所以，实际上在这个程式里就会存在字、词、短语的区分问题。而这个问题在现代汉语中也还没有完全解决，这就给做程式的人带来一定的困难。真的不太容易做呢！不知水电工君如何处理？

Artvine · 发表于 2003-12-7 10:11:55

以上所舉的，可以解決。
以前曾說過，這程式用的是“最長詞原則”與“Overlap”原則；
如：
“其实结不结婚并不是很重要的”

A.
其实  结  不结婚并不是很重要的
B.
其实结  不  结婚并不是很重要  的
C.
其实结不结婚并不是很重要  的

就A而言
結與不結要成一長句
婚與結婚要Overlap
很重要(包括一些前置名辭可先定義)，如：好漂亮
更難的，是很重還是要的；
最難的在Overlap。

很重與很重要是Overlap的。
很重要三字較長就覆蓋去啦；

我的想法是：(就機率計算)

其实  结不%%结%婚并不%是很%%重要%的

會趕緊改好，多謝愛用。

P.S.1
就上文而言，以閩南語來說是全不通的。
P.S.2
我沒受過大陸的語言文字教育，有些規範不清楚。
P.S.3
所以說詞性只能分辨80%(?)；我還是Faver窮舉。
P.S.4
因為發現這程式沒人用，所以懶得動了。現在只能在酒後
作作中日英詞典、及多國語的轉換。

湘里妹子 · 发表于 2003-12-7 10:13:00

以上我说的这个班的学生都是学计算机专业的，
他们对您的研究很感兴趣。
个别能干点儿的学生也在学习编程，
但都还在初始阶段，
需要好好向您讨教呢！

Artvine · 发表于 2003-12-7 10:24:33

我要趕快喝醉

Artvine · 发表于 2003-12-7 10:28:27

下一步是多國語(中(繁簡)、日，英的多國語同時展現；
我要繼續喝酒........

湘里妹子 · 发表于 2003-12-7 10:46:13

因為發現這程式沒人用，所以懶得動了。

您怎么这么悲观那
好像与酒鬼的风度不相符哟：）
自从您的程式放论坛后
在所有合适的场合（上课或学术讲座）
我一直都在大力推广
直接从论坛调出来展示给大家看
虽然还有些不太尽人意的地方
但老师、朋友和学生们都十分有兴趣
我本人就常常使用
感觉很方便
很希望您继续"斗粪"[奋斗]下去：）
使用中我们发现问题会及时向您报告的

----------------------------------------------------------------------------------------------------------

我沒受過大陸的語言文字教育，有些規範不清楚。

在对某种语言的使用中我们发现，有的是语言的规范，有的却只是某种语言的使用习惯，有时候甚至没有什么道理可言的，就是要这么说：）而这一切，我想都不会影响您的研究的。

----------------------------------------------------------------------------------------------------------
今天的实验结果如下------字词连接词典定义

其实结不结婚并不是很重要的

其实 [qi2 shi2] /actually/that is not the case/in fact/really/
结 [jie1] /knot/sturdy/to bear (fruit)/bond/to tie/to bind/
婚 [hun1] /to marry/marriage/wedding/to take a wife/

问题：并不是每个词都能转译成汉语拼音和英语，是吗？

Artvine · 发表于 2003-12-7 18:56:57

酒鬼是不許亂哄的，酒鬼是有尊鹽的。

好吧，再給些錯誤，一次改足。
多國語的問題也很麻煩。

其實喝了酒很不喜歡談程式。
酒鬼通常要發酒瘋的。

风雪里 · 发表于 2003-12-7 22:06:47

那就拿您那一樽盐来解酒吧^^

monkey-E · 发表于 2003-12-7 23:19:02

听说，喝醋特解酒：）
但得喝浙醋-----血色的哦！

Artvine · 发表于 2003-12-10 20:52:32

目前已解決詞先後的Replace問題如：(繁簡/標注..)
“干淨”→“乾淨”&“干干淨淨”or “乾乾淨淨”

在X'mas之前，滿心只想怎麼陪院裡的孩子(水電是單身漢，孤兒院與中途
之家的孩子=我的孩子)；敝網站也有許多事要處理，所以這程式就擔擱
了；如此很抱歉。

在想的事(ToDo)：
一、多國語(不是風雪里兄的說法)：
請用GB告訴我所有的音標？

		自动登录	找回密码
密码			注册

[分享]漢語分詞標注、眉注、音標與英文詞意對應程式測試

呵呵，还是碰到问题了：）

哦，忘了说了：）

..

.....

怎会没人用？

...

发酒疯？

..

浏览过的版块