在python编程开发中,总是不可避免的遇到数据储存的问题,那么python如何保存呢?一起来了解下吧:
python如何保存
[图片0]
1、保存为二进制文件,pkl格式
import pickle
(data,open('file_path','wb')) #后缀.pkl可加可不加
若文件过大
(data,open('file_path', 'wb'),protocol=4)
读取该文件:
data= (open('file_path','rb'))
2、保存为二进制文件,npz格式
import numpy as np
('file_path/', data1=X,data2=y)
读取该文件:
with ('file_path/') as data:
X = data['data1']
y= data['data2']
3、Dataframe文件保存为.csv
("file_path/", index=False)
读取该文件:
import pandas as pd
df = ('file_path/')
Python 保存数据的方法
open函数保存
使用with open()新建对象
import requests
from lxml import etree
#发送Request请求
url = '/subject//comments/'
head = {'User-Agent':'Mozilla/ (Windows NT ; WOW64) AppleWebKit/ (KHTML, like Gecko) Chrome/.94 Safari/'}
#解析HTML
r = (url, headers=head)
s = ()
comments = ('//div[@class="comment"]/p/text()')
#print(str(comments))#在写代码的时候可以将读取的内容打印一下
#保存数据open函数
with open('D:/PythonWorkSpace/TestData/','w',encoding='utf-8') as f:#使用with open()新建对象f
for i in comments:
print(i)
(i+'n')#写入数据,文件保存在上面指定的目录,加n为了换行更方便阅读
这里指的注意的是: open函数的打开模式
参数用法
rread只读。若不存在文件会报错。
wwrite只写。若不存在文件会自动新建。
aapend附加到文件末尾。
rb, wb, ab操作二进制
r+读写模式打开
pandas包保存
说道Pandas不得不说一下与之相关的两个数据分析工具包(注意:pandas 、numpy和matplotlib都需要事先安装,详细安装可见之前的博文关于pip方式安装包)
numpy: (Numerical Python的简称),是高性能科学计算和数据分析的基础包
pandas:基于Numpy创建的Python包,含有使数据分析工作变得更加简单的高级数据结构和操作工具
matplotlib:是一个用于创建出版质量图表的绘图包(主要是2D方面)
import pandas as pd #导入pandas
import numpy as np #导入numpy
import as plt #导入matplotlib
接下来就演示pandas保存数据到CSV和Excel
[图片1]
#导入包import pandas as pd
import numpy as np
df = ((10,4))#创建随机值
#print((2))#查看数据框的头部数据,默认不写为前5行,小于5行时全部显示;也可以自定义查看几行
print(())##查看数据框的尾部数据,默认不写为倒数5行,小于5行时全部显示;也可以自定义查看倒数几行
('D:/PythonWorkSpace/TestData/')#存储到CSV中
#('D:/PythonWorkSpace/TestData/')#存储到Excel中(需要提前导入库 pip install openpyxl)
实例中保存豆瓣读书的短评代码如下:
import requests
from lxml import etree
#发送Request请求
url = '/subject//comments/'
head = {'User-Agent':'Mozilla/ (Windows NT ; WOW64) AppleWebKit/ (KHTML, like Gecko) Chrome/.94 Safari/'}
#解析HTML
r = (url, headers=head)
s = ()
comments = ('//div[@class="comment"]/p/text()')
#print(str(comments))#在写代码的时候可以将读取的内容打印一下
'''
#保存数据open函数
with open('D:/PythonWorkSpace/TestData/','w',encoding='utf-8') as f:#使用with open()新建对象f
for i in comments:
print(i)
(i+'n')#写入数据,文件保存在上面指定的目录,加n为了换行更方便阅读
'''
#保存数据pandas函数 到CSV 和Excel
import pandas as pd
df = (comments)
#print(())#head()默认为前5行
('D:/PythonWorkSpace/TestData/')
#('D:/PythonWorkSpace/TestData/')
如何使用Python存储数据
1. json文件存储数据
json是一种轻量级的数据交换格式,采用完全独立于编程语言的文本格式来存储和表示数据,可以轻松解决py2和py3的编码问题,内容结构类似于python中的字典和列表,层次结构简洁而清晰,易于人阅读和编写,同时也易于机器解析和生成,并有效地提升网络传输效率。
2. csv文件
Python可以将数据存储为CSV文件格式,我们可以用excel打开CSV文档,进行数据的浏览,十分方便,以下是将数据存储到文件的相关实例:
import pandas as pd
list=[[1,2,3],[4,5,6],[7,8,9]]
name=[‘id’,’uid’,’time’]
test=(columns=name,date=list)
(‘E:/’)
3. MySQL数据库
MySQL数据库存储方式是使用Python数据存储最常用的存储方式,Python标准数据库接口为Python DB-API,Python DB-API为开发人员提供了数据库应用程序接口,MySQLdb 是用于Python链接Mysql数据库的接口。MySQL数据库存储过程是引入API模块、获取与数据库的连接、执行SQL语句和存储过程,最后关闭数据库连接。
4. Redis数据库
使用Python数据存储为Redis数据库,优点是方便、速度快,但是取出的数据是二进制数据,一般需要转为字符串再操作,以下是具体实例:
import redis
client = (host='lcoalhost', port=8080)
('nums', [6,7,8,5,4])
result = ('name')
pipe = ()
('name', 'oldboy')
()
5. Mongdb数据库
使用Python数据存储为Mongdb数据库,优点是不在乎数据结构,需要注意的是取出来的时候需要写个脚本整理一下,以下是具体实例:
import pymongo
client = ('localhost', 8080)
test1_db =
sheet_stu =
info = {name:'oldboy',age:30}
info_id =(info).inserted_id
cur_list = [cur for cur in ()]
count = ()
