最新汉字字、词频度统计

资料员

作者：胡小山、张清财

　　汉字字、词、常用短句频度统计是中文信息化重要内容之一，统计的准确率很大程度上取决于所选择的汉字语料和语料产生时代以及语料总量；本文报告作者从467,355,735字当代语料中对GB13000.1字符集20902字和近60000条简体词语进行了流通频度统计，可以说这是当前最具使用价值的汉字字、词频度统计。

一、语料构成

　　总字数：467,355,735字。
　　⒈ 1999年至2003年4月报刊文摘、政经时事、科学技术：375，689，126字，占80.4％。
　　2、现代文学：91，666，609字，占19.6％。

二、字频概况　
　　⒈ 在以上语料中，总共用到的汉字为10647个，扣除繁体字1038个，共用简体字9609个，在GB 13000.1字符集20902字中有10255个未曾出现。
　　⒉ 与1988年国家语委公布的字频表比较，与青月亮流通字频表比较，字频有较大的涨落，表1为30个高频字的频度比较。

表1：30个高频字的频度比较表

<p><table cellPadding="4" width="100%" bgColor="#FFFFFF" border="1" style="border-collapse: collapse" bordercolor="#808080">
        <tr>
                <td>序号</td>
                <td>汉字</td>
                <td>语委字频(‰)</td>
                <td>累计字频(‰)</td>
                <td>汉字</td>
                <td>青月亮字频(‰)</td>
                <td>累计字频(‰)</td>
                <td>汉字</td>
                <td>2003新字频(‰)</td>
                <td>累计字频(‰)</td>
        </tr>
        <tr>
                <td>1<p>2</p>
                <p>3</p>
                <p>4</p>
                <p>5</p>
                <p>6</p>
                <p>7</p>
                <p>8</p>
                <p>9</p>
                <p>10</p>
                <p>11</p>
                <p>12</p>
                <p>13</p>
                <p>14</p>
                <p>15</p>
                <p>16</p>
                <p>17</p>
                <p>18</p>
                <p>19</p>
                <p>20</p>
                <p>21</p>
                <p>22</p>
                <p>23</p>
                <p>24</p>
                <p>25</p>
                <p>26</p>
                <p>27</p>
                <p>28</p>
                <p>29</p>
                <p>30</td>
                <td>的<p>一</p>
                <p>是</p>
                <p>了</p>
                <p>不</p>
                <p>在</p>
                <p>有</p>
                <p>人</p>
                <p>上</p>
                <p>这</p>
                <p>大</p>
                <p>我</p>
                <p>国</p>
                <p>来</p>
                <p>们</p>
                <p>和</p>
                <p>个</p>
                <p>他</p>
                <p>中</p>
                <p>说</p>
                <p>到</p>
                <p>地</p>
                <p>为</p>
                <p>以</p>
                <p>子</p>
                <p>小</p>
                <p>就</p>
                <p>时</p>
                <p>全</p>
                <p>可</td>
                <td>35.929<p>14.585</p>
                <p>11.843</p>
                <p>11.559</p>
                <p>11.121</p>
                <p>9.116</p>
                <p>8.628</p>
                <p>8.166</p>
                <p>7.323</p>
                <p>7.149</p>
                <p>6.905</p>
                <p>6.375</p>
                <p>6.099</p>
                <p>5.844</p>
                <p>5.762</p>
                <p>5.567</p>
                <p>5.290</p>
                <p>5.286</p>
                <p>5.266</p>
                <p>4.653</p>
                <p>4.479</p>
                <p>4.302</p>
                <p>4.225</p>
                <p>4.148</p>
                <p>4.105</p>
                <p>4.049</p>
                <p>4.043</p>
                <p>3.948</p>
                <p>3.918</p>
                <p>3.879</td>
                <td>35.929<p>50.5</p>
                <p>62.4</p>
                <p>73.9</p>
                <p>85</p>
                <p>94.2</p>
                <p>102.8</p>
                <p>110.9</p>
                <p>118.3</p>
                <p>125.4</p>
                <p>132.3</p>
                <p>138.7</p>
                <p>144.8</p>
                <p>150.6</p>
                <p>156.4</p>
                <p>162</p>
                <p>167.3</p>
                <p>172.5</p>
                <p>177.8</p>
                <p>182.5</p>
                <p>186.9</p>
                <p>191.2</p>
                <p>195.5</p>
                <p>199.6</p>
                <p>203.7</p>
                <p>207.8</p>
                <p>211.8</p>
                <p>215.8</p>
                <p>219.7</p>
                <p>223.6</td>
                <td>的<p>一</p>
                <p>在</p>
                <p>国</p>
                <p>是</p>
                <p>中</p>
                <p>和</p>
                <p>有</p>
                <p>了</p>
                <p>人</p>
                <p>不</p>
                <p>为</p>
                <p>大</p>
                <p>年</p>
                <p>用</p>
                <p>上</p>
                <p>作</p>
                <p>发</p>
                <p>个</p>
                <p>以</p>
                <p>地</p>
                <p>会</p>
                <p>要</p>
                <p>生</p>
                <p>出</p>
                <p>这</p>
                <p>学</p>
                <p>成</p>
                <p>行</p>
                <p>对</td>
                <td>36.526<p>10.912</p>
                <p>8.600</p>
                <p>8.364</p>
                <p>8.251</p>
                <p>8.075</p>
                <p>7.949</p>
                <p>7.756</p>
                <p>7.397</p>
                <p>7.193</p>
                <p>6.598</p>
                <p>6.250</p>
                <p>6.033</p>
                <p>4.863</p>
                <p>4.836</p>
                <p>4.645</p>
                <p>4.637</p>
                <p>4.522</p>
                <p>4.514</p>
                <p>4.421</p>
                <p>4.408</p>
                <p>4.349</p>
                <p>4.311</p>
                <p>3.914</p>
                <p>3.898</p>
                <p>3.895</p>
                <p>3.859</p>
                <p>3.826</p>
                <p>3.734</p>
                <p>3.699</td>
                <td>36.526<p>47.438</p>
                <p>56.038</p>
                <p>64.403</p>
                <p>72.655</p>
                <p>80.730</p>
                <p>88.679</p>
                <p>96.436</p>
                <p>103.833</p>
                <p>111.027</p>
                <p>117.626</p>
                <p>123.876</p>
                <p>129.910</p>
                <p>134.774</p>
                <p>139.610</p>
                <p>144.255</p>
                <p>148.893</p>
                <p>153.415</p>
                <p>157.929</p>
                <p>162.351</p>
                <p>166.760</p>
                <p>171.109</p>
                <p>175.421</p>
                <p>179.335</p>
                <p>183.234</p>
                <p>187.129</p>
                <p>190.989</p>
                <p>194.816</p>
                <p>198.550</p>
                <p>202.249</td>
                <td>的<p>一</p>
                <p>了</p>
                <p>是</p>
                <p>在</p>
                <p>人</p>
                <p>不</p>
                <p>有</p>
                <p>中</p>
                <p>大</p>
                <p>国</p>
                <p>上</p>
                <p>他</p>
                <p>这</p>
                <p>为</p>
                <p>我</p>
                <p>和</p>
                <p>个</p>
                <p>年</p>
                <p>来</p>
                <p>到</p>
                <p>出</p>
                <p>会</p>
                <p>时</p>
                <p>地</p>
                <p>要</p>
                <p>以</p>
                <p>市</p>
                <p>生</p>
                <p>发</td>
                <td>31.9095<p>12.8531</p>
                <p>9.23691</p>
                <p>9.22364</p>
                <p>9.03071</p>
                <p>8.96561</p>
                <p>8.58411</p>
                <p>7.96150</p>
                <p>6.49679</p>
                <p>6.16388</p>
                <p>5.75413</p>
                <p>5.65598</p>
                <p>5.23414</p>
                <p>5.22631</p>
                <p>5.20342</p>
                <p>4.83986</p>
                <p>4.82400</p>
                <p>4.72296</p>
                <p>4.63624</p>
                <p>4.49203</p>
                <p>4.35898</p>
                <p>4.16824</p>
                <p>4.10603</p>
                <p>4.03592</p>
                <p>3.91603</p>
                <p>3.79890</p>
                <p>3.76444</p>
                <p>3.74665</p>
                <p>3.71942</p>
                <p>3.61892</td>
                <td>31.9095<p>44.7627</p>
                <p>53.9996</p>
                <p>63.2232</p>
                <p>72.2539</p>
                <p>81.2195</p>
                <p>89.8037</p>
                <p>97.7652</p>
                <p>104.262</p>
                <p>110.425</p>
                <p>116.180</p>
                <p>121.836</p>
                <p>127.070</p>
                <p>132.296</p>
                <p>137.499</p>
                <p>142.339</p>
                <p>147.163</p>
                <p>151.886</p>
                <p>156.522</p>
                <p>161.015</p>
                <p>165.373</p>
                <p>169.542</p>
                <p>173.648</p>
                <p>177.684</p>
                <p>181.600</p>
                <p>185.399</p>
                <p>189.163</p>
                <p>192.910</p>
                <p>196.629</p>
                <p>200.248</td>
        </tr>
</table></p>

从上表进行分析：

　　其中：“的、一、了、是、在、人、不、有、中、大、国、上、这、和、以、个、为、地”这18个字，三家统计均在前30出现，位置略有不同。

　　其中：“我、他、到、来、时”这5个字，2003新字频和语委字频均在前30出现，青月亮字频未在前30出现。

　　其中：“年、出、会、生、要、发”这6个字，2003新字频和青月亮字频均在前30出现，语委字频未在前30出现。

　　其中：2003新字频有1个字“市(28)”在前30中独有；语委字频有7个字“们(34)、说(37)、全(72)、小(65)、子(50)、可(53)、就(45)” 在其前30中独有；青月亮字频有6个字“用(67)、作(41)、学(69)、成(44)、行(32)、对(33)” 在其前30中独有。括弧中数字为在新字频中的位置。

　　以上可以得出结论；语委频度由于完成时间为1988年，同当前比较有所偏差；青月亮频度由于选用语料问题以及语料总量不足，因此也有较大偏差。


三、词频情况

　　1. 词汇选择原则：二字词选择频度100以上，计30000条；三字词选择频度30以上，计6000条；四字词选择频度10以上，计16000条；多字词选择频度5以上，计8000条。

　　2. 原国标词库44791条中有489条不符合上述条件，其中268条频度为0，仍然保留。

　　3. 二字常用词前30个
　　一个 410727 中国 352861 公司 313674 工作 294103 他们 289616
　　我们 270987 没有 261905 发展 244232 自己 229428 市场 214580
　　企业 214543 经济 203513 进行 197292 万元 190430 问题 170025
　　目前 169614 今年 169257 可以 164107 政府 164105 人民 161009
　　建设 158299 什么 157022 国家 154515 社会 153778 就是 142901
　　北京 142589 时间 140632 人员 140393 服务 139405
　　管理 134721

　　4. 三字常用词前30个
　　进一步 77286 为什么 41134 平方米 40857 人民币 40824 不知道 38781
　　越来越 37959 委员会 37009 中国队 35979 特别是 34864 房地产 32324
　　消费者 31555 投资者 30671 市政府 30053 中国人 28684 第一次 27289
　　电视台 26680 是因为 26393 世界杯 25186 近年来 24903 并没有 24859
　　一方面 24615 俱乐部 24041 共产党 23527 奥运会 23477 国务院 22890
　　公安局 22857 据了解 22168 办公室 21817 摩托车 21764
　　尤其是 21601

　　5. 四字常用词前30个
　　与此同时11533另一方面6080 也就是说4221 今年以来4163 平方公里3966
　　有限公司3855 长期以来2943 除此之外2691 近几年来2554 实事求是2353
　　尽管如此2303 众所周知2214 由此可见2092 建筑面积2084 在此之前1984
　　建筑材料1930 一般来说1875 这样一来1866 相比之下1655 国家主席1651
　　毫无疑问1632 无论如何1532 不仅如此1503 值得注意1429 值得一提1414
　　不一会儿1370 这些年来1294 迄今为止1200 实践证明1147 遗憾的是1133

　　6. 多字常用词前30个
　　法定代表人 14873 　　　　　值得一提的是1237 　　 建设性的合作1188
　　消费者权益保护法 910 　　　功夫不负有心人668 　　青年文明号 667
　　记者从有关部门获悉552 　　 后果不堪设想 549 　　 多年的历史 494
　　采取有力措施455 　　　　　 具有十分重要的意义451 周年纪念日 439
　　记者在采访中发现 421 　　　业内人士分析 418 　　 一段时间以来409
　　剥夺政治权利 408 　　　　　调查结果显示 406 　　 针对这种情况403
　　没有共产党就没有新中国363　最近一段时间 350 　　 博士生导师 294
　　常回家看看 292 　　　　　　情节特别严重285 　　  加大宣传力度258
　　这是怎么回事257 　　　　　 走进新时代246 　　　　爱拼才会赢240
　　一个都不能少228 　　　　　 促进经济发展 227 　　 从目前情况看223

　　从以上常有词汇频度可以看出本统计十分准确地反映了当前中文用词情况。

本字、词频度已经应用于汉字双笔码系列输入法软件，效果显著。