使用pkuseg和wordcloud进行分词生成词云

2019-09-12

一、pkuseg中文分词工具的使用

1、安装pkuseg模块

1	pip3 install pkuseg

2、使用默认配置进行分词

import pkuseg

seg = pkuseg.pkuseg()           # 以默认配置加载模型
text = seg.cut('我爱北京天安门')  # 进行分词
print(text)

['我', '爱', '北京', '天安门']

3、细领域分词

import pkuseg

seg = pkuseg.pkuseg(model_name='medicine')  # 程序会自动下载所对应的细领域模型
text = seg.cut('我爱北京天安门')              # 进行分词
print(text)

Downloading: "https://github.com/lancopku/pkuseg-python/releases/download/v0.0.16/medicine.zip" to C:\Users\lemontree/.pkuseg\medicine.zip
100.0%


['我', '爱', '北京', '天安门']

4、长句分词

1
2
3

seg = pkuseg.pkuseg()           # 以默认配置加载模型
text = seg.cut('地球自转刹车用了四十二年，比联合政府的计划长了三年。妈妈给我讲过我们全家看最后一个日落的情景，太阳落得很慢，仿佛在地平线上停住了，用了三天三夜才落下去，当然，以后没有“天”也没有“夜”了，东半球在相当长的一段时间里(有十几年吧)将处于永远的黄昏中，因为太阳在地平线下并没落深，还在半边天上映出它的光芒。就在那次漫长的日落中，我出生了')  # 进行分词
print(text)

['地球', '自', '转刹车', '用', '了', '四十二年', '，', '比', '联合政府', '的', '计划', '长', '了', '三年', '。', '妈妈', '给', '我', '讲', '过', '我们', '全家', '看', '最后', '一个', '日落', '的', '情景', '，', '太阳', '落', '得', '很', '慢', '，', '仿佛', '在', '地平线', '上', '停住', '了', '，', '用', '了', '三', '天', '三', '夜', '才', '落', '下去', '，', '当然', '，', '以后', '没有', '“', '天', '”', '也', '没有', '“', '夜', '”', '了', '，', '东半球', '在', '相当', '长', '的', '一', '段', '时间', '里', '(', '有', '十几', '年', '吧', ')', '将', '处于', '永远', '的', '黄昏', '中', '，', '因为', '太阳', '在', '地平线', '下', '并', '没', '落深', '，', '还', '在', '半边天', '上映', '出', '它', '的', '光芒', '。', '就', '在', '那', '次', '漫长', '的', '日落', '中', '，', '我', '出生', '了']

5、文本文件分词

1	#pkuseg.test('流浪地球.txt', 'output.txt', nthread=20)

total_time:    17.295

6、导入数据，清洗数据

import pkuseg
import re
with open('流浪地球.txt','r',encoding='utf-8') as f:
    txt = f.read()
    f.close()
#print(txt)
data = txt.replace('\t','').replace('\n','').replace(' ','')
data=re.sub("[A-Za-z0-9\[\`\~\!\@\#\$\^\&\*\(\)\=\|\{\}\'\:\;\'\,\[\]\.\<\>\/\?\~\。\@\#\\\&\*\%\-]", "",data)
data=re.sub("[\，\。\？\“\”\…\！\、\:]", "",data)
#print(data)
seg = pkuseg.pkuseg()
text = seg.cut(data)
#print(text)
text = " ".join(text)
print(text)

1
2

刹车 时代 我 没 见 过 黑夜 我 没 见 过 星星 我 没 见 过 春天 秋天 和 冬天 我 出生 在 刹车 时代 结束 的 时候 那时 地球 刚刚 停止 转动 地球 自 转刹车 用 了 四十二年 比 联合政府 的 计划 长 了 三年 妈妈 给 我 讲 过 我们 全家 看 最后 一个 日落 的 情景 太阳 落 得 很 慢 仿佛 在 地平线 上 停住 了 用 了 三 天 三 夜 才 落 下去 当然 以后 没有 天 也 没有 夜 了 东半球 在 相当 长 的 一 段 时间 里 有 十几年 吧 将 处于 永远 的 黄昏 中 因为 太阳 在 地平线 下 并 没 落深 还 在 半边天 上映 出 它 的 光芒 就 在 那 次 漫长 的 日落 中 我 出生 了 黄昏 并 不 意味着 昏暗 地球 发动机 把 整个 北半球 照 得 通明 地球 发动机 安装 在 亚洲 和 美洲 大陆 上 因为 只有 这 两 个 大陆 完整 坚实 的 版块 结构 才能 承受 发动机 对 地球 巨大 的 推力 地球 发动机 共有 一万二千 台 分布 在 亚洲 和 美洲 大陆 的 各个 平原 上 从 我 住 的 地方 可以 看到 几百 台 发动机 喷 出 的 等离子体 光柱 你 想象 一个 巨大 的 宫殿 有 雅典 卫城 上 的 神殿 那么 大殿 中 有 无数 根 顶天立地 的 巨柱 每 根 柱子 像 一 根 巨大 的 日光 灯管 那样 发出 蓝 白色 的 强光 
.....

二、wordcloud模块的使用

import wordcloud
import  matplotlib.pyplot as plt

font = './simhei.ttf'#字体文件
wc=wordcloud.WordCloud(
    scale=4,
    font_path=font,
    #ask=image,
    #topwords=sw,
    background_color='white',
    max_words = 60,
    max_font_size = 60,
    random_state=20
)

wc.generate(text)#文本来生成
plt.imshow(wc)
plt.axis("off")
plt.show() 
wc.to_file("wordcloud.png")   #写出（生成词云）

<wordcloud.wordcloud.WordCloud at 0x20233707fd0>

output