您现在的位置是:网站首页>列表内容
python数据处理详情_python_
2023-05-26 14:10:08
36人已围观
简介 python数据处理详情_python_
一,前言
我们现在拿到了一个十分庞大的数据集。是json
文件,里面存储了将近十万个数据,现在要对其中的数据进行清洗处理。
二,python模块
import json import jieba
我们需要用json模块来处理json文件,和使用jieba库来分析词性,这样可以实现我们的需求。
2.1,增加停用词表
停用词表.txt,把停用词表存入stopwords
,原因是:我们的目标分析json里有一些标点符号。
stopwords = [line.strip() for line in open("停用词表.txt",encoding="utf-8").readlines()]
基本如图所示:
a+str(b)+c
这是文件名称,a+b+c=./json/poet.song.0.json b
递增,实现动态取值
with open(a+str(b)+c,'r',encoding='utf8')as fp:
因为有将近500个json文件。每个文件里有好几千组数据,我现在尽力的优化代码,现在提取一次,把需要的数据存入文件里面差不多需要五分钟。
2.2,顺序读取
- 定义一个空的字符串,将json对象转换为python对象。定义一个空的list存放诗句。
- 循环
json_data i
为里面的每一个元素。 - 新的追加到
list_paragraphs
列表 - 循环 j为里面的每一句。
代码如图所示:
使用jieba库,分析str内容的词性【注意是名称,动词。。。。】排行输出都是俩个字是巧合,没有字数限制
words = jieba.lcut(str_s)
现在words为分析完毕的词性列表,遍历。
排除特殊符号
for word in words: if word not in stopwords: if len(word) == 1: continue else: counts[word] = counts.get(word,0) + 1
出现频率加一。
2.3,lambda函数
使用lambda函数,sort快速排序,遍历输出频率前50的词性。
items.sort(key=lambda x:x[1], reverse=True)
之后赋值word
, count
。
word, count = items[i] print ("{:<10}{:>7}".format(word, count))
三,运行
3.1,存入文件
f=open('towa.txt',"a",encoding='gb18030') f.writelines("题目:"+textxxx) f.writelines(word_ping)
到此这篇关于python数据处理详情的文章就介绍到这了,更多相关python数据处理内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
点击排行
![](http://img.jbzj.com/file_images/game/201407/2014071514474851.jpg)
- 塞尔达传说神奇的帽子攻略玩法图文攻略介绍_单机游戏_游戏攻略_
- 自由战争基础玩法心得介绍 自由战争刷武器与恩赦点方法攻略_单机游戏_游戏攻略_
- 暗黑3 PTR2.1 传奇宝石升级攻略效果一览_单机游戏_游戏攻略_
- 地狱突袭逃亡第6关怎么过?地狱突袭逃亡第6关技巧攻略_单机游戏_游戏攻略_
- 神界3原罪纯洁教大教堂怎么过? 纯洁教大教堂通关方法_单机游戏_游戏攻略_
- 植物大战僵尸2疯狂博士第三天通关图文攻略_单机游戏_游戏攻略_
- 万智牌2015进不去怎么办? 万智牌2015游戏无法运行如何解决?_单机游戏_游戏攻略_
- 植物大战僵尸2植物碎片怎么兑换植物?_单机游戏_游戏攻略_
- 万智牌2015闪退跳出解决方法 万智牌2015闪退跳出怎么处理?_单机游戏_游戏攻略_
本栏推荐
![](http://img.jbzj.com/file_images/game/201407/2014071514474851.jpg)
-
塞尔达传说神奇的帽子攻略玩法图文攻略介绍_单机游戏_游戏攻略_
-
自由战争基础玩法心得介绍 自由战争刷武器与恩赦点方法攻略_单机游戏_游戏攻略_
-
暗黑3 PTR2.1 传奇宝石升级攻略效果一览_单机游戏_游戏攻略_
-
地狱突袭逃亡第6关怎么过?地狱突袭逃亡第6关技巧攻略_单机游戏_游戏攻略_
-
神界3原罪纯洁教大教堂怎么过? 纯洁教大教堂通关方法_单机游戏_游戏攻略_
-
植物大战僵尸2疯狂博士第三天通关图文攻略_单机游戏_游戏攻略_
-
万智牌2015进不去怎么办? 万智牌2015游戏无法运行如何解决?_单机游戏_游戏攻略_
-
植物大战僵尸2植物碎片怎么兑换植物?_单机游戏_游戏攻略_
-
万智牌2015闪退跳出解决方法 万智牌2015闪退跳出怎么处理?_单机游戏_游戏攻略_