湘里妹子学术网

 找回密码
 注册
楼主: Artvine

[分享]漢語分詞標注、眉注、音標與英文詞意對應程式測試

  [复制链接]
 楼主| 发表于 2003-11-3 01:30:07 | 显示全部楼层

Re

是的。請注意:目前所暫列的是沒法直接從輸入法
輸入的(在所有版面皆為亂碼,只能用tte嵌入),能
直接處理的並不貼出;另,所用來源不能保證全面
,所以總數必然較少。
重點是,有沒辦法找到最全tte,再嵌入WORD給我
轉換?
发表于 2003-11-3 10:28:45 | 显示全部楼层

此程式如果成功。。。。。。

国际音标对方言研究工作者的意义太大了,如果以上研究成功了,那所有语言学者都应该向水电工先生和湘里妹子论坛的风雪里先生说声:
阿弥陀佛

继续努力哦!加油!



:cool::cool::cool:
 楼主| 发表于 2003-11-6 00:13:04 | 显示全部楼层

工作進度

http://artvine.com.tw/artvineword0u.htm

一、現在已經把測試用的漢字→音標母檔,從原來的
7000字美國漢語拼音(也就是朋友們不段指出小錯誤
的版本),抽換為目前的新版本:
(一)首先要說明,大陸官方學術單位並無提供類似基
本資料,增加許多困難:無規範依據、字數數量太少
;目前使用數據為敝書屋整理爬梳而來。希望大陸朋
友多鼓勵當局此類協同研究。
(二)規格:
(A)漢字(一至多音標)=20940字(簡體字,以後若加入
繁體字,將突破59000字)
(B)分詞庫句數=448306句(應該不輸大型研究了)
(C)英漢─漢英(字)詞典共24329句(字)
(D)目前(A)部份已經全部改編為大陸漢語拼音的標準
音標。

二、目前的收穫與缺限:
(一)u的v2/v3/v4音已增加標注(請試試<女兒>)
(二)隨分詞庫的括充,句間分詞將較精密。
(三)新字庫補入後應不至於有缺字缺音標問題。
(四)音標的分格號'目前還沒辦法在
分詞情況下解決(請試試<女兒>);必需等連結字典後
才能解決。
(五)由於要過濾近448000筆分詞資料,運算速度將會
較慢;請試以大字數資料測試!

三、TODO
(一)輸出效果的改善。
(二)字典檔運用的思考。
(三)加入搜尋功能。

敬請多多抓錯並提供意見!
发表于 2003-11-6 00:38:16 | 显示全部楼层

改进了许多!!!

赞zàn美měi
    ——穆mù 旦dàn
--------------------------------------------------------------------------------
    走zǒu 不bù尽jìn 的de 山shān峦luán 和hé 起qǐ伏fú ,, 河hé流liú 和hé 草cǎo原yuán ,,
    数shǔ不bù尽jìn 的de 密mì密mì的de 村cūn庄zhuāng ,, 鸡jī鸣míng 和hé 狗gǒu吠fèi ,,
    接jiē连lián 在zài 原yuán是shì 荒huāng凉liáng 的de 亚yà洲zhōu 的de 土tǔ地dè 上shàng ,,
    在zài野yě 草cǎo 的de 茫máng茫máng 中zhōng 呼hū啸xiāo 着zhe 干gān燥zāo 的de 风fēng ,,
    在zài 低dī压yā 的de 暗àn 云yún 下xià 唱chàng着zhe 单dān调diāo 的de 东dōng流liú 的de 水shuǐ ,,
    在zài 忧yōu郁yù 的de 森sēn林lín 里lǐ 有yǒu无wú 数shǔ 埋mái藏cáng 的de 年nián代dài 。.
    它tā们mén 静jìng静jìng 地dè 和hé我wǒ 拥yōng抱bāo ::
    说shuō不bù尽jìn 的de 故gù事shì 是shì 说shuō不bù尽jìn 的de 灾zāi难nán ,, 沉chén默mò 的de
    是shì 爱ài情qíng ,, 是shì 在zài 天tiān空kōng 飞fēi翔xiáng 的de 鹰yīng 群qún ,,
    是shì 干gān 枯kū 的de 眼yǎn睛jīng 期qī待dài 着zhe 泉quán 涌yǒng 的de 热rè 泪lèi ,,
    当dāng 不bù移yí 的de 灰huī色sè 的de 行xíng列liè 在zài 遥yáo远yuǎn 的de 天tiān际jì 爬pá行xíng ;;
    我wǒ有yǒu 太tài多duō 的de话huà 语yǔ ,, 太tài 悠yōu久jiǔ 的de 感gǎn情qíng ,,
    我wǒ要yāo 以yǐ 荒huāng凉liáng 的de 沙shā漠mò ,, 坎kǎn坷kě 的de 小xiǎo路lù ,, 骡luó子zǐ 车chē ,,
    我wǒ要yāo 以yǐ 槽cáo子zǐ 船chuán ,, 漫màn山shān 的de 野yě花huā ,, 阴yīn雨yǔ 的de 天tiān气qì ,,
    我wǒ要yāo 以yǐ 一yī切qiè 拥yōng抱bāo 你nǐ ,, 你nǐ ,,
    我wǒ到dāo 处chù 看kàn见jiàn 的de 人rén民mín 呵hē ,,
    在zài 耻chǐ辱rǔ 里lǐ 生shēng活huó 的de 人rén民mín ,, 佝gōu偻lǚ 的de 人rén民mín ,,
    我wǒ要yāo 以yǐ带dài 血xuè 的de 手shǒu 和hé 你nǐ们mén 一yī一yī 拥yōng抱bāo 。.
    因yīn为wèi 一yī个gè 民mín族zú 已yǐ经jīng 起qǐ来lái 。.

    一yī个gè 农nóng夫fū ,, 他tā 粗cū糙cāo 的de 身shēn躯qū 移yí动dòng 在zài 田tián野yě 中zhōng ,,
    他tā是shì 一yī个gè 女nǚ人rén 的de 孩hái子zǐ ,, 许xǔ 多duō 孩hái子zǐ 的de 父fù亲qīn ,,
    多duō少shǎo 朝cháo代dài 在zài 他tā的de 身shēn边biān 升shēng起qǐ 又yòu 降jiàng落luò 了le
    而ér把bǎ 希xī望wàng 和hé 失shī望wàng 压yā在zài 他tā 身shēn上shàng ,,
    而ér他tā 永yǒng远yuǎn 无wú言yán 地dè 跟gēn在zài 犁lí 后hòu 旋xuán转zhuǎn ,,
    翻fān起qǐ 同tóng样yàng 的de 泥ní土tǔ 溶róng解jiě 过guò 他tā 祖zǔ先xiān 的de ,,
    是shì 同tóng样yàng 的de 受shòu难nán 的de 形xíng象xiàng 凝níng固gù 在zài 路lù旁páng 。.
    在zài 大dà路lù 上shàng 多duō少shǎo次cì 愉yú快kuài 的de 歌gē声shēng 流liú过guò 去qù了le ,,
    多duō少shǎo次cì 跟gēn来lái 的de 是shì 临lín到dāo 他tā的de 忧yōu患huàn ;;
    在zài 大dà路lù 上shàng人rén 们mén 演yǎn说shuō ,, 叫jiāo嚣xiāo ,, 欢huān快kuài ,,
    然rán而ér 他tā 没méi有yǒu ,, 他tā 只zhǐ 放fàng下xià 了le 古gǔ代dài 的de 锄chú头tóu ,,
    再zài一yī次cì 相xiāng信xìn 名míng词cí ,, 溶róng 进jìn了le 大dà众zhòng 的de 爱ài ,,
    坚jiān定dìng 地dè ,, 他tā 看kàn着zhe 自zì己jǐ 溶róng 进jìn 死sǐ亡wáng 里lǐ ,,
    而ér 这zhè样yàng 的de 路lù 是shì 无wú限xiàn 的de 悠yōu长cháng 的de
    而ér他tā 是shì 不bù能néng够gòu 流liú 泪lèi 的de ,,
    他tā 没méi有yǒu 流liú 泪lèi ,, 因yīn为wèi 一yī个gè 民mín族zú 已yǐ经jīng 起qǐ来lái 。.

    在zài 群qún山shān 的de 包bāo围wéi 里lǐ ,, 在zài 蔚wèi蓝lán 的de 天tiān空kōng 下xià ,,
    在zài 春chūn天tiān 和hé 秋qiū天tiān 经jīng过guò 他tā家jiā 园yuán 的de时shí候hòu ,,
    在zài 幽yōu深shēn 的de 谷gǔ 里lǐ 隐yǐn 着zhe 最zuì 含hán蓄xù 的de 悲bēi哀āi ::
    一yī个gè 老lǎo妇fù 期qī待dài 着zhe 孩hái子zǐ ,, 许xǔ 多duō 孩hái子zǐ 期qī待dài 着zhe
    饥jī饿è ,, 而ér又yòu 在zài 饥jī饿è 里lǐ 忍rěn耐nài ,,
    在zài 路lù旁páng 仍réng是shì 那nà 聚jù集jí 着zhe 黑hēi暗àn 的de 茅máo屋wū ,,
    一yī样yàng 的de 是shì 不bù可kě知zhī 的de 恐kǒng惧jù ,, 一yī样yàng 的de 是shì
    大dà自zì然rán 中zhōng 那nà 侵qīn蚀shí 着zhe 生shēng活huó 的de 泥ní土tǔ ,,
    而ér他tā 走zǒu去qù 了le 从cóng不bù 回huí头tóu 诅zǔ咒zhòu 。.
    为wèi了le 他tā 我wǒ要yāo 拥yōng抱bāo 每měi一yī个gè 人rén ,,
    为wèi了le 他tā 我wǒ 失shī去qù 了le 拥yōng抱bāo 的de 安ān慰wèi ,,
    因yīn为wèi 他tā ,, 我wǒ们mén 是shì 不bù能néng 给gěi以yǐ 幸xìng福fú 的de ,,
    痛tòng哭kū 吧ba ,, 让ràng我wǒ 们mén 在zài 他tā的de 身shēn上shàng 痛tòng哭kū 吧ba ,,
    因yīn为wèi 一yī个gè 民mín族zú 已yǐ经jīng 起qǐ来lái 。.

    一yī样yàng 的de 是shì 这zhè 悠yōu久jiǔ 的de 年nián代dài 的de 风fēng ,,
    一yī样yàng 的de 是shì 从cóng这zhè 倾qīng 圮pǐ 的de 屋wū檐yán下xià 散sàn开kāi 的de
    无wú尽jìn 的de 呻shēn吟yín 和hé 寒hán冷lěng ,,
    它tā 歌gē唱chàng 在zài 一yī片piàn 枯kū 槁gǎo 的de 树shù 顶dǐng上shàng ,,
    它tā 吹chuī 过guò了le 荒huāng芜wú 的de 沼zhǎo泽zé ,, 芦lú苇wěi 和hé 虫chóng鸣míng ,,
    一yī样yàng 的de 是shì 这zhè 飞fēi过guò 的de 乌wū鸦yā 的de 声shēng音yīn 。.
    当dāng 我wǒ 走zǒu过guò ,, 站zhàn在zài 路lù上shàng 踟chí蹰chú ,,
    我wǒ 踟chí蹰chú 着zhe 为wèi了le 多duō年nián 耻chǐ辱rǔ 的de 历lì史shǐ
    仍réng在zài 这zhè 广guǎng大dà 的de 山shān河hé 中zhōng等děng 待dài ,,
    等děng待dài 着zhe ,, 我wǒ们mén 无wú言yán 的de 痛tòng苦kǔ 是shì 太tài多duō 了le ,,
    然rán而ér 一yī个gè 民mín族zú 已yǐ经jīng 起qǐ来lái ,,
    然rán而ér 一yī个gè 民mín族zú 已yǐ经jīng 起qǐ来lái 。.


    1941 年nián 12 月yuè
发表于 2003-11-6 00:44:51 | 显示全部楼层

我也来试试新:)

我wǒ是shì 怎zěn样yàng 地dè 爱ài 你nǐ

伊yī丽lì莎suō白bái ·.  勃bó 朗lǎng 宁níng  
袁yuán 广guǎng 达dá   梁liáng葆bǎo成chéng 译yì

        
      我wǒ是shì 怎zěn样yàng 的de 爱ài 你nǐ ? 诉sù不bù尽jìn 万wàn语yǔ千qiān言yán :
     我wǒ爱ài 你nǐ的de 程chéng度dù 是shì 那nà样yàng 地dè 高gāo深shēn 和hé 广guǎng 远yuǎn ,
     恰qià似sì 我wǒ的de 灵líng魂hún 曾céng 飞fēi 到dāo了le 九jiǔ天tiān 与yǔ 黄huáng泉quán ,
     去qù 探tàn索suǒ 人rén生shēng 的de 奥āo妙miāo ,和hé 神shén灵líng 的de 恩ēn典diǎn 。
     无wú论lùn是shì 白bái昼zhòu 还hái是shì 夜yè晚wǎn ,我wǒ爱ài 你nǐ 不bù息xī ,
  像xiàng我wǒ 每měi日rì 必bì需xū 的de 摄shè生shēng 食shí物wù 不bù能néng 间jiān断duàn 。
    我wǒ 纯chún洁jié 地dè 爱ài 你nǐ ,不bù为wèi 奉fèng承chéng 吹chuī捧pěng 迷mí惑huò ,
    我wǒ 勇yǒng敢gǎn 地dè 爱ài 你nǐ ,如rú同tóng 为wèi 正zhèng义yì 而ér 奋fèn 争zhēng !
    爱ài 你nǐ, 以yǐ 昔xī日rì 的de 剧jù痛tòng 和hé 童tóng年nián 的de 忠zhōng诚chéng
    爱ài 你nǐ , 以yǐ 眼yǎn 泪lèi 、笑xiāo声shēng 及jí 全quán部bù 的de 生shēng命mìng 。
    要yāo是shì 没méi有yǒu 你nǐ ,我wǒ的de 心xīn 就jiù 失shī去qù 了le 圣shèng贤xián ,
    要yāo是shì 没méi有yǒu 你nǐ , 我wǒ的de 心xīn 就jiù 失shī去qù 了le 激jī情qíng 。
    假jiǎ如rú 上shàng帝dì 愿yuàn意yì ,请qǐng 为wèi我wǒ 作zuō主zhǚ 和hé 见jiàn证zhèng :
       在zài 我wǒ 死sǐ后hòu , 我wǒ 必bì将jiāng 爱ài 你nǐ 更gèng深shēn , 更gèng深shēn !




:-(:-(:-(

[ 本贴由 柴禾妞 于 2003-11-6  05:05 最后编辑 ]
发表于 2003-11-6 00:47:50 | 显示全部楼层

挑一点小毛病

  :-P “泉涌”还不被认为是词组,“在野草的”被分为:“在野 草 的”,“太多的话语”分为:“太多 的话 语”,“我到处看见”分为“我到 处 看见”。

  另,这应该是汉语拼音标注吧,汉语拼音与国际音标还是不一样的哦 *^^*
发表于 2003-11-6 01:05:27 | 显示全部楼层

多音字的测试:

和hé平píng   一yī 唱chàng 百bǎi 和hé   和hé面miàn 做zuò 包bāo子zǐ   瞎xiā 搅jiǎo和hé 什shén么me 啊ā ??



正确标注:

平 一唱百和 和huó面 瞎搅和huò什么啊?

另,上面测试中的人名“伊丽莎白”中,“莎”字应该是:shā 用于人名或地名,而“莎草”中的莎才是:suō(此多音字应该就仅此一词)
 楼主| 发表于 2003-11-6 01:41:51 | 显示全部楼层

Re

謝謝提出建議!
一、分詞部份已隨時改正;目前40餘萬筆詞庫也只包括
一般生活、中醫藥、網路用語...等;如同前回所說,若
還要包括如古文獻、專業領域...用詞,需要些時間。也
許較該注意的是語意邏輯部份(也包括提出的轉音問題)
;較感安慰的是,人名還能分出來了,這也是很大的進
步(中外人名約17800筆)。
二、所提的音轉問題和分隔號問題一樣,必需要到連結
字典檔時才能校正。
发表于 2003-11-6 09:58:59 | 显示全部楼层

救命啊!水电师傅快来!

柴禾妞 于 2003-11-6 04:44 AM 写道:
我wǒ是shì 怎zěn样yàng 地dè 爱ài 你nǐ

伊yī丽lì莎suō白bái ·.  勃bó 朗lǎng 宁níng  
袁yuán 广guǎng 达dá    ...


怎么会跑出这么多方框框来了?,
昨晚看时都好好的呢!
难道水电师傅的程式患上“萨斯”了不成?

奇怪,怎么会有的音节中缺了韵母里a,有的又没缺呢?一时简直还找不出规律来呢!
音节中的韵母o和 i也缺了?

怎会酱紫的?水电师傅赶紧来呀!
发表于 2003-11-6 12:30:16 | 显示全部楼层

请教:这是什么现象?

我在办公室打开电脑的时候看到了以上说的“萨斯”,几个拼音字母变成了一个方框,怎么回到家里打开来又一切正常了呢?

不知道这是电脑的问题还是水电师傅的程序问题?请指点迷津阿:)谢谢!
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|湘里妹子学术网 ( 粤ICP备2022147245号 )

GMT++8, 2024-5-4 08:40 , Processed in 0.062859 second(s), 11 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表