[分享]漢語分詞標注、眉注、音標與英文詞意對應程式測試

Artvine

已改"共叔段"↓夠方便吧
初 鄭武公 娶 于申 曰 申姜 生 莊公 及 共叔段 莊公 寤生 驚姜氏 故名曰 寤生 遂 惡之

湘里妹子

用“字词上方眉注拼音”转换后再复制到Word或FrontPage里还是保持了上方眉注的格式，只是下面这两段文言文中有些字却没能注上拼音，不知为何？难道是电脑程序不能辨识这些字？

《(<) 嶽 陽 樓 記 》(>) ：(:)

慶 曆 四(si4)年(nian2) 春(chun1) 滕(teng2)子(zi3)京(jing1) 謫 守(shou3) 巴(ba1) 陵(ling2) 郡(jun4) 越(yue4) 明(ming2)年(nian2) 政(zheng4)通(tong1)人(ren2)和(he2) 百(bai3) 廢 具(ju4) 興 乃(nai3) 重(zhong4)修(xiu1) 岳(yue4)陽樓 增(zeng1) 其(qi2) 舊 制(zhi4) 刻(ke4) 唐(tang2) 賢 今(jin1)人(ren2) 詩 賦 於(yu2) 其(qi2)上(shang4) 屬 予(yu3) 作(zuo4)文(wen2) 以(yi3) 記 之(zhi1)



《(<) 左(zuo3)傳》(>) ：(:)

初(chu1) 鄭 武(wu3)公(gong1)娶(qu3) 于(yu2)申(shen1)曰(yue1) 申(shen1)姜(jiang1)生(sheng1) 莊 公(gong1) 及(ji2) 共(gong4) 叔(shu1) 段(duan4) 莊 公(gong1) 寤(wu4) 生(sheng1) 驚 姜(jiang1)氏(shi4) 故(gu4)名(ming2) 曰(yue1) 寤(wu4) 生(sheng1) 遂(sui4) 惡 之(zhi1)      

      

      至于纳兰庋先生提出的关于用这个程序来切分和拼注文言文的问题，我是这样来理解的：
     
      汉语是单音节语素语。从词汇学发展的角度看，古汉语是以单音节词为主的，发展到现代汉语才形成了双音节化的趋向。古汉语中许多单音节词（自由语素 ）发展到现代汉语中就变成一个半自由语素或不自由语素了，许多单音节词被双音节词所替代了。比较一下：

       古汉语                                     现代汉语
   
        目                                          眼睛
   
        民                                          人民       民主
     
        习                                          习惯       演习

       所以，本人认为，不必将古代汉语与现代汉语纠缠到一起来讨论这个问题的为好。当然，能够用这个程序给文言文注上汉语拼音（不必去管词的切分问题），帮助阅读，对中文教学来说那也是不小的贡献呢。

湘里妹子

我也来试试水电先生刚刚做好的文言文词语切分程序吧：

      
沛 公 军 霸 上 ， 未得 与 项羽 相见 。 沛 公 左 司马 曹 无 伤 使 人言 于 项羽 曰 ： “ 沛 公 欲 王 关中 ， 使 子 婴 为 相 ， 珍宝 尽 有之 。 ” 项羽 大怒 曰 ： “ 旦 日 飨 士卒 ， 为 击破 沛 公 军 ! ” 当是 时 ， 项羽 兵 四十万 ， 在 新 丰鸿门 ； 沛 公 兵 十万 ， 在 霸 上 。 范增 说项 羽 曰 ： “ 沛 公 居 山东 时 ， 贪 于 财货 ， 好 美 姬 。 今 入关 ， 财物 无所 取 ， 妇女 无所 幸 ， 此 其 志 不在 小 。 吾令 人望 其 气 ， 皆为 龙虎 。 成五采 ， 此 天子 气 也 。 急 击 勿失 ! ”



楚左尹 项伯者 ， 项羽 季父也 ， 素 善 留 侯张良 。 张良 是 时从沛 公 ， 项伯乃 夜 驰 之 沛 公 军 ， 私见 张良 ， 具 告 以 事 ， 欲 呼 张良 与 俱 去 ， 曰 ： “ 毋 从 俱 死 也 。 ” 张良曰 ： “ 臣 为 韩王送 沛 公 ， 沛 公 今 事 有 急 ， 亡 去 不义 ， 不可不 语 。 ” 良乃入 ， 具 告 沛 公 。 沛 公 大惊 ， 曰 ： “ 为之 奈何 ? ” 张良曰 ： “ 谁 为 大王 为此 计 者 ? ” 曰 ： “ 鲰 生 说 我 曰 ： ‘ 距 关 ， 毋 内 诸侯 ， 秦地可 尽 王也 。 ’ 故 听之 。 ” 良曰 ： “ 料 大王 士卒 足以 当 项王乎 ？ ” 沛 公 默然 ， 曰 ： “ 固 不如 也 。 且 为之 奈何 ？ ” 张良曰 ： “ 请 往 谓 项伯 ， 言沛公 不敢 背 项王也 。 ” 沛 公 曰 ： “ 君 安 与 项 伯 有 故 ？ ” 张良曰 ： “ 秦时 与 臣 游 ， 项 伯 杀人 ， 臣 活 之 ； 今 事 有 急 ， 故 幸来告 良 。 ” 沛 公 曰 ： “ 孰 与 君 少 长 ？ ” 良曰 ： “ 长于 臣 。 ” 沛 公 曰 ： “ 君 为我 呼入 ， 吾 得 兄 事 之 。 ” 张良出 ， 要 项伯 。 项伯即 入 见 沛 公 。 沛 公 奉 卮 酒 为 寿 ， 约为 婚姻 ， 曰 ： “ 吾 入关 ， 秋毫 不敢 有所 近 ， 籍 吏 民 ， 封 府库 ， 而 待 将军 。 所以 遣将 守 关者 ， 备 他 盗 之 出入 与 非常 也 。 日夜 望 将军 至 ， 岂敢 反 乎 ！ 愿 伯 具 言臣 之不 敢 倍 德 也 。 ” 项伯 许诺 ， 谓 沛 公 曰 ： “ 旦 日 不可不 蚤 自来 谢项王 。 ” 沛 公 曰 ： “ 诺 。 ” 于是 项伯复 夜 去 ， 至 军中 ， 具 以 沛 公 言报项 王 ， 因 言曰 ： “ 沛 公 不 先 破关 中 ， 公 岂敢 入 乎 ？ 今人 有 大功 而 击 之 ， 不义 也 。 不如 因 善 遇之 。 ” 项王 许诺 。



于是 张良 至 军 门见 樊哙 。 樊哙曰 ： “ 今日 之事 何如 ？ ” 良曰 ： “ 甚 急 ！ 今 者 项庄 拔剑 舞 ， 其 意 常在 沛 公 也 。 ” 哙 曰 ： “ 此 迫 矣 ！ 臣 请 入 ， 与之 同 命 。 ” 哙 即 带 剑 拥 盾 入 军 门 。 交 戟 之 卫士 欲 止 不 内 。 樊哙侧 其 盾 以 撞 ， 卫士 仆 地 ， 哙 遂 入 ， 披 帷 西向 立 ， 瞋 目视 项王 ， 头发 上 指 ， 目 眦 尽 裂 。 项王 按 剑 而 跽 曰 ： “ 客 何为 者 ？ ” 张良 曰 ： “ 沛 公 之 参 乘 樊哙者 也 。 ” 项王 曰 ： “ 壮士 ！ 棗 赐 之 卮 酒 。 ” 则 与 斗 卮 酒 。 哙 拜谢 ， 起 ， 立 而 饮 之 。 项王 曰 ： “ 赐 之 彘 肩 。 ” 则 与 一生 彘 肩 。 樊哙覆 其 盾 于地 ， 加 彘 肩上 ， 拔剑 切 而 啖 之 。 项王 曰 ： “ 壮士 ！ 能 复 饮 乎 ？ ” 樊哙曰 ： “ 臣 死且 不避 ， 卮 酒 安足辞 ！ 夫 秦王 有 虎狼 之心 ， 杀人 如不 能 举 ， 刑 人 如 恐不 胜 ， 天下 皆 叛 之 。 怀 王 与 诸 将 约 曰 ： ‘ 先 破 秦入 咸阳 者 王之 。 ’ 今 沛 公 先 破 秦入 咸阳 ， 毫毛 不敢 有所 近 ， 封闭 宫室 ， 还 军 霸 上 ， 以待 大王 来 ， 故 遣将 守 关者 ， 备 他 盗 出入 与 非常 也 。 劳苦 而 功 高 如此 ， 未有 封侯 之 赏 ， 而 听 细说 ， 欲 诛 有功 之人 ， 此 亡 秦之续 耳 。 窃 为 大王 不 取 也 ！ ” 项王 未有 以 应 ， 曰 ： “ 坐 。 ” 樊哙 从良 坐 。 坐 须臾 ， 沛 公 起 如厕 ， 因 招樊哙 出 。



沛 公 已 出 ， 项王 使 都尉 陈平召 沛 公 。 沛 公 曰 ： “ 今 者 出 ， 未 辞 也 ， 为之 奈何 ？ ” 樊哙 曰 ： “ 大 行不 顾细谨 ， 大礼 不辞 小 让 。 如今 人 方为 刀俎 ， 我 为 鱼肉 ， 何辞 为 ？ ” 于是 遂 去 。 乃 令 张良 留 谢 。 良 问 曰 ： “ 大王 来 何操 ？ ” 曰 ： “ 我 持 白璧 一双 ， 欲 献 项王 。 玉 斗 一双 ， 欲与 亚 父 。 会 其 怒 ， 不敢 献 。 公 为我 献 之 。 ” 张良 曰 ： “ 谨 诺 。 ” 当是 时 ， 项王 军 在 鸿 门下 ， 沛 公 军 在 霸 上 ， 相 去 四十 里 。 沛 公 则 置 车骑 ， 脱身 独 骑 ， 与 樊哙 、 夏侯婴 、 靳强 、 纪信等 四人 持 剑 盾 步 走 ， 从 郦 山下 ， 道 芷 阳间 行 。 沛 公 谓 张良 曰 ： “ 从此 道 至 吾 军 ， 不过 二十 里 耳 。 度 我 至 军中 ， 公 乃 入 。 ”



沛 公 已去 ， 间 至 军中 。 张良 入 谢 ， 曰 ： “ 沛 公 不胜 桮 杓 ， 不能 辞 。 谨 使臣 良奉 白璧 一双 ， 再拜 献 大王 足下 ， 玉 斗 一双 ， 再拜 奉 大将军 足下 。 ” 项王 曰 ： “ 沛 公安 在 ？ ” 良曰 ： “ 闻 大王 有意 督 过 之 ， 脱身 独 去 ， 已 至 军 矣 。 ” 项王 则 受 壁 ， 置之 坐上 。 亚 父 受 玉 斗 ， 置之 地 ， 拔剑 撞 而 破 之 ， 曰 ： “ 唉 ！ 竖子 不足 与 谋 ！ 夺 项王 天下 者 必 沛 公 也 。 吾 属 今为 之 虏 矣 ！ ”



沛 公 至 军 ， 立 诛杀 曹无伤 。

纳兰庋

確實沒必要把古代漢語與現代漢語糾纏到一起，但有個另外的想法：現在一般人讀不了古書，很大程度上是因爲無法斷句，而斷句的一個重要前提是將具有獨立意義的詞或字分開。如果計算機幫助做到這一點，對閱讀古書說不定會有點用。

纳兰庋

以上對文言的測試仍有問題，這可能不是這麽快就能解決的。

湘里妹子

纳兰庋 于 2003-10-23 16:38 写道:
確實沒必要把古代漢語與現代漢語糾纏到一起，但有個另外的想法：現在一般人讀不了古書，很大程度上是因爲無法斷句，而斷句的一個重要前提是將具有獨立意義的詞或字分開。如果計算機幫助做到這一點，對閱讀古書說不 ...

      纳兰庋先生您好！很高兴您来论坛捧场，谢谢！有空欢迎您常来坐坐，发表高见。:lol:

      您的这个想法倒是挺好的，问题就在于电脑程序语言能否准确无误地给文言文断句，其错误率能控制在哪个百分比上？这得用统计法来做比较科学的判断，然后才可以理直气壮的推广和运用。

      拿以上水电先生做的程序试验来看，似乎错误率不是太高（当然这还只是很小面积的测试）。如果水电先生觉得有必要的话，本论坛很乐意协助做这件好事儿呢！就把这里当作测试基地好了:-P

      任何一项科学研究都是要经过反反复复的磨砺的！但只要我们大胆地往前走，莫回头，总会有收获的。。。。。。

纳兰庋

錯誤率是高或低，看定什麽樣的標准。以上測試，還有本人另外用《聊齋》等做的實驗，都不能得出理想的結果。
給文言分詞是第一步，下一步還要看連結辭典時是否對老外有用。
如果能在這裏做成這件事，想必水電先生也是高興的吧。

Artvine

其實沒那麼麻煩啦！先看前貼偶的研究態度之一：
無先驗規範→意思不是不用規範，而是不把類似
一般語文研究的『詞性分析』之類的規範來框住
想法(實際上那也只是三大研究途徑之一)；我要
的是字詞連接的語意邏輯性。
要克服的難題在字詞重疊的意義規整，而不是在
字詞本身(中文字=CODE；詞=CODE+CODE...，
只要能切分出其意義，又在文句組合內有精準定
位，是不分古文或現代用法的)

由於目前的字，如繁體“曆”的拼音是缺的，也
尚未補全；而詞庫如上述所說簡陋，但也示範其
線上隨時修正的簡易；目前斷言此“測試”完整
或是否適用於何種領域，尚言之過早。

以下是困難舉例：

新語言如：
“你好酷”→你?好酷? 你好?酷(已解決Overlap)
戲文尾音“了”→念了還是憭?(只能並列2音)
“這船只到廣州”→船只?只到?(很遺憾的是北京
發布的用語規範只規範了“船只”的用字，未查
覺Logical Meaning(大陸的朋友覺得是ONLY的語意
嗎?)→此題除非改字，否則無解。

文言文例：不會較難
“子曰:”，“.......曰”，“.......云”。→100%為定式
如上文假設是“鄭莊公”，只能全詞分出→“莊公”→
“李家莊公共財產...”，造成邏輯混亂。

舉了幾個例子，有些看不懂吧，只是要說明，沒那麼難。

目前麻煩的是，大規模的字、詞庫是簡體又是DBM(ACCESS)
格式的，要逐一轉換文字與檔案格式，要用許多時間；今晚
會大幅括增內容，請弒目以待。(不過看到北大的分詞，覺
得還感欣慰)

Artvine

這BBS的Refresh有問題！貼的POST出不來↓
http://www.xlmz.net/forum/viewth ... id=khDJ9RBu#pid3027

风雪里

水電工 于 2003-10-23 17:34 写道:
這BBS的Refresh有問題！貼的POST出不來↓
http://www.xlmz.net/forum/viewth ... id=khDJ9RBu#pid3027

已将帖子合并过来了，水电兄是点错了按钮，错把“发表新贴”当成“发表回复”了吧？:-P

记得是最后一个图标的就不会错了 ;-)