从全唐诗对偶字中提取字义网络图
icon2 Design of Design | icon4 2010-01-14 12:03| icon350 Comments | 本文内容遵从CC版权协议 转载请注明出自matrix67.com

    语言统计分析期末大作业要求我们统计全唐诗中的对偶字，并用所得到的统计结果反过来评判出对仗最工整的诗句。我在数据处理过程中突然想到，鉴于互成对偶的两个字之间有一定的语义联系，我们便有了一个庞大的汉字语义关联库；如果把所有汉字之间的关联画成一张图会是什么样子呢？于是我用 Mathematica 7 提出了全唐诗中处在对偶位置上的所有字对，得到了 464448 个可能的对偶关系；再利用一些算法得到了最稳定、最常用的 2000 个对偶关系，把它们都描绘在一张大图上，于是便有了上面的这个图。点击这里查看高清无码大图，1600x1600 像素。可以看到，有语义关联的汉字自动地聚合到了一起。


    利用 Mathematica 7 的 CommunityStructurePartition 算法，我把这个图中的顶点大致分成了几个团体，每一个团体内的字基本上就构成了一个词类。这几天打算就这个题目继续研究下去，希望能得到一些更有意思的结果。

Posted in Design of Design
Tags: , , , ,
Trackback: http://www.matrix67.com/blog/archives/2728/trackback
我猜您可能还喜欢：

50 条回复

  • 楼层: 沙发 | 2010-01-14 12:17 | 小殊 说：

    太强了吧！

  • 楼层: 板凳 | 2010-01-14 12:18 | primenumber 说：

    文理交汇，好看。

  • 楼层: 地毯 | 2010-01-14 12:25 | 白先生 说：

    很奇妙诶……

  • 楼层: 地板 | 2010-01-14 12:30 | Magic.Lin 说：

    强！

  • 楼层: 地下室 | 2010-01-14 12:49 | Magic.Lin 说：

    支持67继续研究！

  • 楼层: 地基 | 2010-01-14 13:05 | 白先生 说：

    啊~~~~我第一次发言诶~~~成功了……

  • 楼层: 地壳 | 2010-01-14 13:22 | digiter 说：

    接着对其中的顶点做个聚类吧

  • 楼层: 地幔 | 2010-01-14 13:26 | Baiyssy 说：

    可惜图中的连线看不很清楚。还是做成flash比较好

  • 楼层: 地核 | 2010-01-14 13:46 | axgle 说：

    关注一下

  • 楼层: 10楼 | 2010-01-14 14:20 | fisher 说：

    要是有三维图就好了，可以仔细观察一下哈哈。

  • 楼层: 11楼 | 2010-01-14 14:31 | quark 说：

    生成这个图需要多长时间？

  • 楼层: 12楼 | 2010-01-14 14:48 | NaDa_Nick 说：

    这么多个字...始终以"家"为中心啊~~

  • 楼层: 12a楼 | 2010-01-14 15:16 | hi 说：

    这些好玩的matlab程序能不能发布一下呢。

  • 楼层: 14楼 | 2010-01-14 15:31 | 刘思喆 说：

    sna 的应用永远都是那么漂亮。不过，“利用一些算法得到了最稳定、最常用的 2000 个对偶关系”这个比较关注。

  • 楼层: 15楼 | 2010-01-14 17:26 | www.3158.cn 说：

    图片太小啦，都看不清楚

  • 楼层: 16楼 | 2010-01-14 17:27 | www.28.com 说：

    哈哈，挺有意思

  • 楼层: 17楼 | 2010-01-14 18:19 | cat 说：

    我想起了我的期末论文，写的一个关于复杂网络和生物学系统化的东西。。。。

  • 楼层: 18楼 | 2010-01-14 18:46 | 笨笨 说：

    以后要是作诗的话，有了这张图就知道选什么字对偶了。

  • 楼层: 19楼 | 2010-01-14 18:57 | LoveDaisy 说：

    图也是用mathematica画的么？太有意思了

  • 楼层: 20楼 | 2010-01-14 19:37 | wecing 说：

    > “点击这里查看高清无码大图”

    ls诸位是不是已经习惯了……

  • 楼层: 21楼 | 2010-01-14 20:09 | Aule 说：

    ls难道不清楚 这是M式幽默吗……

  • 楼层: 22楼 | 2010-01-14 23:36 | Tweets that mention Matrix67: My Blog » Blog Archive » 从全唐诗对偶字中提取字义网络图 -- Topsy.com 说：

    [...] This post was mentioned on Twitter by StarKnight, Yuchen Liu, ewonchan , hijackjave, Yuhan Hao and others. Yuhan Hao said: 从全唐诗对偶字中提取字义网络图 http://www.matrix67.com/blog/archives/2728 [...]

  • 楼层: 23楼 | 2010-01-15 9:21 | 徐风子 说：

    很强悍，不过大图也看不清楚呀。还是要有动态图加数据表也不错，坐等楼主研究完成吧。

  • 楼层: 24楼 | 2010-01-15 10:46 | chemy 说：

    非常好的分析！可将这种模型推广到日常管理中。我是数据化管理的专家！可通过我的博客了解我。

  • 楼层: 25楼 | 2010-01-15 10:49 | chemy 说：

    我的博客地址：http://chemyhuang.blog.163.com

  • 楼层: 26楼 | 2010-01-15 13:37 | petcon 说：

    嗯

    可以最后做个自动写诗机

    我估计这个应该有人 已经研究过这个东西了

  • 楼层: 27楼 | 2010-01-15 13:40 | petcon 说：

    感觉图中的连线不是很精确

    好像不是连接每个汉字的中心

    另外 有个问题 有些并不是字对偶 而是词对偶

    是不是应该再研究下分词技术

    另外也可以找找中文系的 问下文学的具体的诗词对偶的一些知识

  • 楼层: 28楼 | 2010-01-15 14:07 | leokan 说：

    to ls,lz就中文系的...

  • 楼层: 29楼 | 2010-01-16 0:48 | fs 说：

    颜色-质地形容词，朝代名-地名，数词，连词类，自然现象-意象-气象-风景类，人体-生理-动作类，社会关系称谓类...

  • 楼层: 30楼 | 2010-01-16 4:00 | loveisp 说：

    很漂亮哈。如果做成三维的，而且能自己drag就好了，应该还可以进一步聚聚类、标上不同颜色啥的。
    而且似乎还可以在语义上预处理一下。比如“少”，可以代表“老少”的“少”，也可以代表“多少”的“少”，如果只用一个“少”来表示，那么可能会出现某一对偶在不同意义上压倒另一对偶的现象。

  • 楼层: 31楼 | 2010-01-16 8:13 | 芝壹 说：

    这个强大···
    关注中 期待“更有意思的结果”~

  • 楼层: 32楼 | 2010-01-19 22:30 | xcjzj 说：

    呵呵，不知道你如果在提交作业的时候包含上这些内容，你的老师能不能看懂哈。

  • 楼层: 33楼 | 2010-01-21 15:32 | god 说：

    神啊，改变人类历史的图
    这个要研究下，找找软件和教程去

  • 楼层: 34楼 | 2010-01-21 16:00 | god 说：

    建议如果是平面图线条不要交叉，否则看不出规律。

    最好是3D图，不知道能能搞3维的

  • 楼层: 35楼 | 2010-01-21 18:05 | 高考完了 说：

    订阅量破6000了

  • 楼层: 36楼 | 2010-01-21 21:05 | linecong 说：

    楼上各位都这么惊讶，这只是自然语言处理里面最简单的技术了。

  • 楼层: 37楼 | 2010-01-26 11:55 | 猫猫很毛 说：

    太猛了，我觉得如果能把虚词加上，就更强了。

  • 楼层: 38楼 | 2010-01-26 19:44 | eins 说：

    有什么意义 吗？

  • 楼层: 39楼 | 2010-02-01 20:22 | 六翼 说：

    刘慈欣的……《诗云》……………………

  • 楼层: 40楼 | 2010-04-23 13:16 | honeygeng 说：

    that is so cool!

  • 楼层: 41楼 | 2010-04-29 17:55 | jwq 说：

    可不可以具体说一下?

  • 楼层: Answer to Life, the Universe, and Everything | 2010-04-29 17:55 | jwq 说：

    可不可以具体展开说一下?

  • 楼层: 43楼 | 2010-10-04 20:27 | Daniel 说：

    图中的连线看不清。
    如果可以查就会是个很棒的工具。写骈文很方便。

  • 楼层: 44楼 | 2010-11-02 11:38 | zodiac1111 说：

    爱数学的中文系,博主简直就是怪兽啊~~
    话说好比 流氓有文化.

  • 楼层: 45楼 | 2010-12-05 14:52 | Andy 说：

    是按照上下句相同位置来判定对偶词的么

  • 楼层: 46楼 | 2011-08-18 9:22 | trek jerseys 说：

    很不错！支持！

  • 楼层: 47楼 | 2011-09-07 0:00 | echo 说：

    awesome

  • 楼层: 48楼 | 2011-11-26 21:13 | Matrix67: My Blog » Blog Archive » 汉字地图第二版 说：

    [...]     去年年初的时候，我曾经发布过某专业课期末作业研究过程中带来的一个有趣的副产品：汉字的字义网络图。不过，当时我是直接调用的 Mathematica 的相关函数，函数几乎不能调整参数，并且也无法处理边上权重不同的情况。最近在研究引力斥力绘图算法，突然想到把当时的数据重新画一张图。于是就有了汉字地图第二版（点击小图看大图）： [...]

  • 楼层: 49楼 | 2011-11-26 22:38 | Thought this was cool: 汉字地图第二版 « CWYAlpha 说：

    [...]     去年年初的时候，我曾经发布过某专业课期末作业研究过程中带来的一个有趣的副产品：汉字的字义网络图。不过，当时我是直接调用的 Mathematica 的相关函数，函数几乎不能调整参数，并且也无法处理边上权重不同的情况。最近在研究引力斥力绘图算法，突然想到把当时的数据重新画一张图。于是就有了汉字地图第二版（点击小图看大图）： [...]

  • 楼层: 50楼 | 2012-01-28 12:55 | condir 说：

    我想知道最后得出的结论：哪首唐诗是最对偶的？

您也随便说几句吧：

您可以在 Gravatar 设置您的头像。