搜索到
142
篇与
的结果
-
python 计算指定日期后的几个工作日日期 import datetime def main(target_date, days): target_date = datetime.datetime.strptime(target_date, '%Y-%m-%d') while days + 1: target_date = target_date + datetime.timedelta(days=1) days = days - 1 if 1 <= target_date.isoweekday() <= 5 else days return target_date # www.lanol.cn if __name__ == '__main__': print(f"指定结果：{main('2022-2-21', 2)}") @松涛哥 提供的问题 -
-
2021年度全国统计用区划代码和城乡划数据抓取 2021年中国省份及城市及街道数据抓取（未包括我国台湾省、香港特别行政区和澳门特别行政区）# -*- coding: utf-8 -*- # -*- coding: utf-8 -*- """ ------------------------------------------------- @ Author ：Lan @ Blog ：www.lanol.cn @ Date ： 2022/1/12 @ Description：I'm in charge of my Code ------------------------------------------------- """ import time import requests import parsel base_url = 'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2021/' provinceText = requests.get(base_url + 'index.html') provinceText.encoding = 'utf-8' provinceHtml = parsel.Selector(provinceText.text) china = {} # 获取所有省份，并进行遍历 for province in provinceHtml.xpath('//td/a'): provinceName = province.xpath('text()').extract_first() print(provinceName) china[provinceName] = {} provinceUrl = base_url + province.xpath('@href').extract_first().replace('.html', '/') cityText = requests.get(base_url + province.xpath('@href').extract_first()) cityText.encoding = 'utf-8' cityHtml = parsel.Selector(cityText.text) # 获取省份下的市 for city in cityHtml.xpath("//tr[@class='citytr']/td[2]"): cityName = city.xpath('a/text()').extract_first() print(provinceName, cityName) china[provinceName][cityName] = {} countyText = requests.get(base_url + city.xpath('a/@href').extract_first()) countyText.encoding = 'utf-8' countyHtml = parsel.Selector(countyText.text) # 获取市区下的区 for county in countyHtml.xpath("//tr[@class='countytr']/td[2]//*"): countyName = county.xpath('text()').extract_first() print(provinceName, cityName, countyName) china[provinceName][cityName][countyName] = {} townUrl = provinceUrl + county.xpath('@href').extract_first() if county.xpath('@href') else None if townUrl: try: townText = requests.get(townUrl, timeout=2) except: townText = requests.get(townUrl, timeout=2) townText.encoding = 'utf-8' townHtml = parsel.Selector(townText.text) # 获取区下面的镇 towns = townHtml.xpath("//tr[@class='towntr']/td[2]//text()").extract() print(provinceName, cityName, countyName, towns) china[provinceName][cityName][countyName] = towns print(china) {abtn icon="fa-external-link" color="#ff6800" href="https://gitlab.com/Vastsa/lanpicbed/-/raw/master/zb_users/upload/2022/1/china.json" radius="" content="点击查看数据"/}
-
Pandas三百题 2 - pandas 个性化显示设置1.显示全部列pd.set_option('display.max_columns',None)2.显示指定行/列指定让 data 在预览时显示10列，7行pd.set_option('display.max_cols',10)pd.set_option('display.max_rows',7)3.还原行/列显示数还原上面的显示设置pd.reset_option("max_rows")pd.reset_option("max_columns")4 修改每列最大字符宽度即每列最多显示的字符长度，例如【每列最多显示10个字符，多余的会变成...】pd.set_option('display.max_colwidth',10)5 修改小数点精度修改默认显示精度为小数点后5位pd.set_option('precision',5)6 还原所有显示设置还原上面的全部显示设置pd.reset_option('^display')3-数据预览与预处理数据查看1 查看数据维度先看看数据有多少行、多少列df.shape2 随机查看5条数据df.sample(5)3 查看数据前后5行df.head()df.tail()4-查看数据基本信息看看数据类型，有误缺失值什么的df.info()5-查看数据统计信息|数值查看数值型列的统计信息，计数，均值df.describe().round(2).T6-查看数据统计信息|离散查看离散型列的统计信息，计数，频率df.describe(include=['O'])7-查看数据统计信息|整体df.describe(include='all')缺失值处理8-计算缺失值|总计先看看一共存在多少个缺失值df.isnull().sum().sum()9-计算缺失值|分列具体每列有多少缺失值df.isnull().sum()10-查看缺失值查看全部缺失值所在的行df[df.isnull().T.any()==True]11-高亮缺失值df[df.isnull().T.any()==True].style.highlight_null(null_color='skyblue')12-删除缺失值缺失值出现的行全部删掉df.dropna(how='any')13-缺失值补全|整体填充将全部缺失值替换为*df.fillna('*')14-缺失值补全|向上填充将评分列的缺失值，替换为上一个电影的评分df['评分'] = df['评分'].fillna(method='ffill')15-缺失值补全|整体均值填充将评价人数列的缺失值，用整列的均值进行填充df['评价人数'] = df['评价人数'].fillna(df['评价人数'].mean())16-缺失值补全|上下均值填充将评价人数列的缺失值，用整列的均值进行填充df['评价人数'] = df['评价人数'].fillna(df['评价人数'].interpolate())17-缺失值补全|匹配填充现在填充 “语言” 列的缺失值，要求根据 “国家/地区” 列的值进行填充例如 《海上钢琴师》国家/地区为 意大利，根据其他意大利国家对应的语言来看，应填充为 意大利语df['语言']=df.groupby('国家/地区').语言.bfill()重复值处理18-查找重复值df[df.duplicated()]19-查找重复值|指定查找 片名 列全部重复值df[df['片名'].duplicated()]20-删除重复值删除全部的重复值df.drop_duplicates()21-删除重复值|指定删除全部的重复值，但保留最后一次出现的值df.drop_duplicates(keep='last')4-数据统计描述性分析数据探索1-查看数据查看数据前十行df.head(10)2-修改索引数据已经安装降序排列，让学校当索引会更好df.set_index(['学校'])3-查看数据量查看数据的行*列，总共单元格的数量df.size4-数据排序按照总分升序排列，并展示前20个df.sort_values(['总分']).head(20)5-数据排序将数据按照高端人才得分降序排序，展示前10位df.sort_values(['高端人才得分'],ascending=False).head(10)6-分列排名查看各项得分最高的学校名称df.iloc[:,3:].idxmax()7-统计信息|均值df['总分'].mean()8-统计信息|中位数df['总分'].median()9-统计信息|众数df['总分'].mode()10-统计信息|部分计算总分，高端人才得分，办学层次得分的最大最小值、中位数、均值方法1：df.describe()[['总分','高端人才得分','办学层次得分']].T[['max','min','50%','mean']]方法2：df.agg({"总分":["min", "max", "median", "mean"],"高端人才得分":["min", "max", "median", "mean"],"办学层次得分":["min", "max", "median", "mean"]})11-统计信息|完整查看数值型数据的统计信息（均值，分位数），并保留两位小数df.describe().round(2).T12-统计信息|分组计算各省市总分均值df.groupby('省市').agg({'总分':'mean'})13-统计信息|相关系数相关系数矩阵，也就是每两列之间的相关性系数df.corr()14-相关系数|热力图### 方法一 ### df.corr().style.background_gradient(cmap='coolwarm').set_precision(2) ### 方法二 ### 借助 `matplotlib` 和 `seaborn` 其中中文设置可以参考我的这篇文章 https://mp.weixin.qq.com/s/WKOGvQP-6QUAP00ZXjhweg import seaborn as sns import matplotlib.pyplot as plt plt.figure(figsize = (9,6),dpi=100) sns.set(font='Songti SC') sns.heatmap(df.corr().round(2),annot=True,cmap='RdBu') plt.show()15-统计信息|频率计算各省市出现的次数df['省市'].values_count()16-统计信息|热力地图from pyecharts import options as opts from pyecharts.charts import Map list1 = list(pd.DataFrame(df.省市.value_counts()).index) list2 = list(pd.DataFrame(df.省市.value_counts()).省市) c = ( Map() .add('', [list(z) for z in zip(list1,list2)], "china",is_map_symbol_show=False) .set_global_opts( title_opts=opts.TitleOpts(title="排名前100高校各省市占比"), visualmap_opts=opts.VisualMapOpts(max_=20), ) ) c.render_notebook()17-统计信息|直方图import seaborn as snssns.set(font='Songti SC')sns.distplot(df['总分'])5-数据筛选与修改5-1数据修改1-数据修改|列名将原 df 列名 Unnamed: 2、Unnamed: 3、Unnamed: 4 修改为 金牌数、银牌数、铜牌数df.rename(columns={'Unnamed: 2':'金牌数','Unnamed': 3':'银牌数','Unnamed: 4':'铜牌数')2-数据修改|行索引将第一列（排名）设置为索引df.set_index(['排名'])3-数据修改|修改索引名修改索引名为 金牌排名df.rename_axis('金牌排名')4-数据修改|修改值将 ROC（第一列第五行）修改为 俄奥委会df.iloc[4,1] = '俄奥委会'df.loc[5,['国家奥委会']] = '俄奥委会'5-数据修改|替换值（单值）将金牌数字的数字0替换为无df['金牌数'].replace(0,'无')6-数据修改|替换值（多值）将无替换为缺失值将0替换为Nonedf.replace(['无,0],[np.nan,"None"])7-数据查看查看各列数据类型df.dtypes8-数据修改|修改类型将金牌数列类型修改为intdf['金牌数'].fillna('0').astype('int')9-数据增加|新增列（固定值）新增一列比赛地点值为东京df['比赛地点'] = '东京'10-数据增加|新增列（计算值）新增一列金银牌总数列，值为该国家金银牌总数df['金银牌总数'] = df['金牌数'] + df['银牌数'] + df['铜牌数']11-数据增加|新增列（比较值）新增一列 最多奖牌数量列，值为该国 金、银、铜 牌数量中最多的一个奖牌数量例如美国银牌最多，则为41，中国为38df['最多奖牌数量'] = df[["金牌数", "银牌数",'铜牌数']].replace('None',0).fillna(0).max(axis=1)12-数据增加|新增列（判断值）新增一列 金牌大于30如果一个国家的金牌数大于 30 则值为 是，反之为否df['金牌大于30'] = df['金牌数'].apply(lambda x : '是' if x >30 else '否')df['金牌大于30'] = np.where(df['金牌数']>30,'是','否')13-数据增加|增加多列新增两列，分别是金铜牌总数（金牌数+铜牌数）银铜牌总数（银牌数+铜牌数）df.assign(金铜牌数量=df.金牌数+df.铜牌数,银铜牌总数=df.银牌数+df.铜牌数)14-数据增加|新增列（引用变量）新增一列金牌占比为各国金牌数除以总金牌数(gold_sum)gold_sum = df['金牌数'].sum()df['金牌数'].apply(lambda x : str(round(x/gold_sum*100,2))+'%')df.eval(f'金牌占比 = 金牌数 / {gold_sum}')15-数据增加|新增行（末尾追加）在df末尾追加一行，内容为0,1,2,3...一直到df列的长度df1 = pd.DataFrame([[i for i in range(len(df.columns))]], columns=df.columns)df_new = df.append(df1)16-数据增加|新增行（指定位置）在第2行新增一行数据，即美国和中国之间。df1 = df.iloc[:1,:] df2 = df.iloc[1:,:] df3 = pd.DataFrame([[i for i in range(len(df.columns))]],columns=df.columns) df_new = pd.concat([df1,df3,df2],ignore_index=True)17-数据删除|删除行删除df第一行dr.drop(1)18-数据删除|删除行（条件）df.drop(df[df.金牌数<20].index)19-数据删除|删除列df.drop(columns=['比赛地点'])20-数据删除|删除列（按列号）删除df的7,8,9,10列df.drop(df.columns[[7,8,9,10]],axis=1)5-2数据筛选21-筛选列|通过行号提取第1,2,3,4列df.iloc[:,[1,2,3,4]]22-筛选列|通过列名提取 金牌数、银牌数、铜牌数 三列df[['金牌数','银牌数','铜牌数']]23-筛选列|条件（列号）df.iloc[:,[i%2==1 for i in df.shape[1]]]24-筛选列|条件（列名）df.iloc[:,df.columns.str.endswith('数')]25-筛选列|组合（行号+列名）df.loc[10:20,'总分':]26-筛选行|通过行号提取第10行df.loc[9:9]27-筛选行|通过行号(多行）提取第10行之后的全部行df.loc[9:]28-筛选行|固定间隔提取0-50行，间隔为3df.loc[0:50:3]30-筛选行|判断（大于）提取金牌数大于30的行df[df['金牌数']>30]31-筛选行|判断（等于）提取金牌数等于10的行df[df['金牌数']==10]32-筛选行|判断（不等于）提取金牌数不等于10的行df[df['金牌数']!=10]33-筛选行|条件（指定行号）提取全部奇数行df[[i%2==1 for i in range(len(df.index))]]34-筛选行|条件（指定值）提取中国、美国、英国、巴西、日本五行数据df[df['国家奥委会'].isin(['中国','美国','英国','日本','巴西'])]35-筛选行｜多条件在上一题的条件下，新增一个条件：金牌数小于30df[(df['国家奥委会'].isin(['中国','美国','英国','日本','巴西']))&(df['金牌数']<30)36 -筛选行｜条件（包含指定值）提取 国家奥委会 列中，所有包含国的行df[df['国家奥委会'].str.contains('国')]37-筛选某行某列提取第0行第2列df.iloc[0:1,[1]]38-筛选多行多列提取 第 0-2 行第 0-2 列df.iloc[0:2,0:2]39-筛选值|组合（行号+列号）提取第 4 行，第 4 列的值df.iloc[3,3]40 - 筛选值｜组合（行号+列名）提取行索引为 4 ，列名为 金牌数 的值df.at[4,'金牌数']41 - 筛选值｜条件提取 国家奥委会 为 中国 的金牌数df.loc[df['国家奥委会']=='中国']['金牌数']42 - 筛选值 | query使用query提取金牌数+银牌数 大于 15的国家df.query('金牌数+银牌数 > 15')43 - 筛选值｜query（引用变量）使用 query 提取 金牌数 大于 金牌均值的国家gold_mean = df['金牌数'].mean()df.query(f'金牌数 > {gold_mean}')6-数据分组与聚合分组1 - 分组统计｜均值计算各区(district)的薪资(salary)均值df.groupby(['district']).agg({'salary':'mean'})df[['district','salary']].groupby(by='district').mean()df.groupby("district")['salary'].mean()2 - 分组统计｜取消索引重新按照上一题要求进行分组，但不使用 district 做为索引df.groupby("district", as_index=False)['salary'].mean()3 - 分组统计｜排序计算并提取平均薪资最高的区df[['district','salary']].groupby(by='district').mean().sort_values(['salary'],ascending=False).head(1)df[['district','salary']].groupby(by='district').mean().sort_values('salary',ascending=False).head(1)4 - 分组统计｜频率计算不同行政区(district)，不同规模公司(companySize)出现的次数df.groupby(['district','companySize']).size()5 - 分组统计｜修改索引名将上一题的索引名修改为district -> 行政区companySize -> 公司规模pd.DataFrame(df.groupby("district")['companySize'].value_counts()).rename_axis(["行政区", "公司规模"])6 - 分组统计｜计数计算上一题，每个区出现的公司数量df.groupby('district')['companySize'].count()7 - 分组查看｜全部将数据按照 district、salary 进行分组，并查看各分组内容df.groupby(['district','salary']).groups8 - 分组查看｜指定将数据按照 district、salary 进行分组，并查看西湖区薪资为 30000 的工作df.groupby(['district','salary']).get_group(('西湖区',30000))9 - 分组规则｜通过匿名函数1根据 createTime 列，计算每天不同 行政区 新增的岗位数量df.groupby([df.createTime.apply(lambda x:x.day)])['district'].value_counts().rename_axis(['发布日','行政区'])10 - 分组规则｜通过匿名函数2计算各行政区的企业领域（industryField）包含电商的总数df.groupby('district',sort=False)["industryField"].apply(lambda x:x.str.contains('电商').sum())11 - 分组规则｜通过内置函数通过 positionName 的长度进行分组，并计算不同长度岗位名称的薪资均值df.set_index('positionName').groupby(len)['salary'].mean()12 - 分组规则｜通过字典将 score 和 matchScore 的和记为总分，与 salary 列同时进行分组，并查看结果df.groupby({'salary':'薪资','score':'总分','matchScore':'总分'},axis=1).sum()13 - 分组规则｜通过多列计算不同 工作年限（workYear）和 学历（education）之间的薪资均值pd.DataFrame(df.groupby(['workYear','education'])['salary'].mean()).rename_axis(['工作年限','教育'])14 - 分组转换｜ transform在原数据框 df 新增一列，数值为该区的平均薪资水平df['平均薪资'] = df[['district','salary']].groupby(by='district').transform('mean')15 - 分组过滤｜filter提取平均工资小于 30000 的行政区的全部数据df.groupby('district').filter(lambda x:x['salary'].mean()<30000)16 - 分组可视化对杭州市各区公司数量进行分组，并使用柱状图进行可视化import matplotlib.pyplot as plt data = df.groupby('district').count()['positionName'] data.plot(kind='bar',figsize=(20, 12), color='#5172F0', fontsize=12) plt.xlabel('杭州市各区',fontsize=14) plt.ylabel('公司数量',fontsize=14) plt.show()6-2聚合17 - 聚合统计分组计算不同行政区，薪水的最小值、最大值和平均值df.groupby('district')['salary'].describe()[['min','max','mean']]df.groupby('district')['salary'].agg([min, max, np.mean])19 - 聚合统计｜组合对不同岗位(positionName)进行分组，并统计其薪水(salary)中位数和得分(score)均值df.groupby('positionName').agg({'salary': 'median', 'score': 'mean'})20 -聚合统计｜多层对不同行政区进行分组，并统计薪水的均值、中位数、方差，以及得分的均值df.groupby('district').agg({'salary': [np.mean, np.median, np.std], 'score': np.mean})21 - 聚合统计｜自定义函数在 18 题基础上，在聚合计算时新增一列计算最大值与平均值的差值def myfunc(x): return x.max()-x.mean() df.groupby('district').agg(最低工资=('salary', 'min'), 最高工资=( 'salary', 'max'), 平均工资=('salary', 'mean'), 最大值与均值差值=('salary', myfunc)).rename_axis(["行政区"])7-数据透视与合并数据透视表1 - 加载数据读取当前目录下 "某超市销售数据.csv" 并设置千分位符号为 ,pd.read_csv('某超市销售数据.csv',thousands=',')2 - 数据透视｜默认制作各省「平均销售额」的数据透视表pd.pivot_table(df,values=['销售额'],index='省/自治区']3 - 数据透视｜指定方法制作各省「销售总额」的数据透视表pd.pivot_table(df,values=['销售额'],index='省/自治区',aggfunc=sum)4 - 数据透视｜多方法制作各省「销售总额」与「平均销售额」的数据透视表pd.pivot_table(df,values=['销售额'],index='省/自治区',aggfunc=['mean','sum']5 - 数据透视｜多指标制作各省市「销售总额」与「利润总额」的数据透视表pd.pivot_table(df,values=['销售额','利润'],index='省/自治区',aggfunc=['sum'])6 - 数据透视｜多索引制作「各省市」与「不同类别」产品「销售总额」的数据透视表pd.pivot_table(df,values=['销售额'],index=['省/自治区','类别'],aggfunc=['sum'])7 - 数据透视｜多层制作各省市「不同类别」产品的「销售总额」透视表pd.pivot_table(df,values=['销售额'],index=['省/自治区'],columns='类别',aggfunc='sum')8 - 数据透视｜综合制作「各省市」、「不同类别」产品「销售量与销售额」的「均值与总和」的数据透视表，并在最后追加一行『合计』pd.pivot_table(df,values = ['销售额','数量'],index = ['省/自治区','类别'],aggfunc = ['mean',sum],margins=True)9 - 数据透视｜筛选在上一题的基础上，查询 「类别」 等于 「办公用品」 的详情10 -数据透视｜逆透视逆透视就是将宽的表转换为长的表，例如将第 5 题的透视表进行逆透视，其中不需要转换的列为『数量』列pd.pivot_table(df,values = ['销售额','利润','数量'],index = '类别',aggfunc = sum).melt(id_vars=['数量'],var_name='分类',value_name='金额')数据合并df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3'], 'C': ['C0', 'C1', 'C2', 'C3'], 'D': ['D0', 'D1', 'D2', 'D3']}, index=[0, 1, 2, 3]) df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'], 'B': ['B4', 'B5', 'B6', 'B7'], 'C': ['C4', 'C5', 'C6', 'C7'], 'D': ['D4', 'D5', 'D6', 'D7']}, index=[4, 5, 6, 7]) df3 = pd.DataFrame({'A': ['A8', 'A9', 'A10', 'A11'], 'B': ['B8', 'B9', 'B10', 'B11'], 'C': ['C8', 'C9', 'C10', 'C11'], 'D': ['D8', 'D9', 'D10', 'D11']}, index=[8, 9, 10, 11]) df4 = pd.DataFrame({'B': ['B2', 'B3', 'B6', 'B7'], 'D': ['D2', 'D3', 'D6', 'D7'], 'F': ['F2', 'F3', 'F6', 'F7']}, index=[2, 3, 6, 7])11 - concat｜默认拼接拼接 df1 和 df2pd.concat([df1,df2])12 - concat｜拼接多个垂直拼接 df1、df2、df3，效果如下图所示pd.concat([df1,df2,df3])13 - concat｜重置索引垂直拼接 df1 和 df4，并按顺序重新生成索引，pd.concat([df1, df4], ignore_index=True)14 - concat｜横向拼接横向拼接 df1、df4，效果如下图所示pd.concat([df1,df4],axis=1)15 - concat｜横向拼接（取交集）在上一题的基础上，只取结果的交集pd.concat([df1,df4],axis=1,join='inner')16 - concat｜横向拼接（取指定）在 14 题基础上，只取包含 df1 索引的部分pd.concat([df1, df4], axis=1).reindex(df1.index)17 - concat｜新增索引拼接 df1、df2、df3，同时新增一个索引（x、y、z）来区分不同的表数据来源pd.concat([df1,df2,df3],keys=['x','y','z'])merge - 数据连接18 - merge｜按单键根据 key 连接 left 和 rightleft = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'], 'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3']}) right = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'], 'C': ['C0', 'C1', 'C2', 'C3'], 'D': ['D0', 'D1', 'D2', 'D3']})pd.merge(left,right,on='key')19 - merge｜按多键根据 key1 和 key2 连接 left 和 rightleft = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'], 'key2': ['K0', 'K1', 'K0', 'K1'], 'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3']}) right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'], 'key2': ['K0', 'K0', 'K0', 'K0'], 'C': ['C0', 'C1', 'C2', 'C3'], 'D': ['D0', 'D1', 'D2', 'D3']}) pd.merge(left, right, on=['key1', 'key2'])20 - merge｜左外连接如下图所示的结果连接 left 和 right，保留左表全部键pd.merge(left,right,how='left')21 - merge｜右外连接如下图所示的结果连接 left 和 right，保留右表全部键 pd.merge(left,right,how='right', on=['key1', 'key2'])22 -merge｜全外连接如下图所示的结果连接 left 和 right，保留全部键pd.merge(left,right,how='outer', on=['key1', 'key2'])23 -merge｜内连接如下图所示的结果连接 left 和 right，保留交集pd.merge(left,right,how='inner', on=['key1', 'key2'])24 - merge｜重复索引重新产生数据并按下图所示进行连接pd.merge(left, right, on='k', suffixes=['_l', '_r'])join - 组合25 - join｜左对齐合并 left 和 right，并按照 left 的索引进行对齐left.join(right)26 -join｜左对齐（外连接）按下图所示进行连接思考：merge 做法left.join(right,how='outer')27 - join｜左对齐（内连接）按下图所示进行连接left.join(right,how='inner')28 -join｜按索引重新产生数据并按下图所示进行连接（根据 key）left.join(right,on='key')29 - join｜按索引（多个）重新产生数据并按下图所示进行连接（根据 key1 和 key2）left.join(right,on=['key1','key2'])8-金融数据与时间处理8-1pandas中的时间操作1-时间生成|当前时间使用pandas获取当前时间pd.Timestamp('now')Timestamp('2021-12-15 11:32:16.625393')2-时间生成|指定范围使用pandas按天生成2021年1月1日至2021年9月1日的全部日期pd.date_range('1/1/2021','9/11/2021')DatetimeIndex(['2021-01-01', '2021-01-02', '2021-01-03', '2021-01-04', '2021-01-05', '2021-01-06', '2021-01-07', '2021-01-08', '2021-01-09', '2021-01-10', ... '2021-09-02', '2021-09-03', '2021-09-04', '2021-09-05', '2021-09-06', '2021-09-07', '2021-09-08', '2021-09-09', '2021-09-10', '2021-09-11'], dtype='datetime64[ns]', length=254, freq='D')3-时间生成|指定长度使用pandas从2021年1月1日开始，按天生成10天日期pd.date_range('2021-01-01',periods=10)DatetimeIndex(['2021-01-01', '2021-01-02', '2021-01-03', '2021-01-04', '2021-01-05', '2021-01-06', '2021-01-07', '2021-01-08', '2021-01-09', '2021-01-10'], dtype='datetime64[ns]', freq='D')股票数据分析11 - 查看数据类型查看 df1 各列的数据类型df1.info()12 - 时间类型转换将 df1 和 df2 的 日期 列转换为 pandas 支持的时间格式df1['日期'] = pd.to_datetime(df1['日期'])df2['时间'] = pd.to_datetime(df2['时间'])13 - 日期筛选｜区间筛选出 df2 时间在 2021-08-03 09:35:00 与 2021-08-04 15:00:00 之间的数据df2[(df2['时间']> '2021-08-03 09:35:00') & (df2['时间']< '2021-08-04 15:00:00' )]14 - 日期筛选｜指定筛选 df2 时间为 2021-08-03 的全部数据df2.set_index('时间').truncate(after=pd.Timestamp('2021-08-04'))15 - 金融计算｜涨跌额df1 新增一列 涨跌，计算前后两日收盘价之差注意：虽然我们的df1包含涨跌额列，但是这个操作很常用，所以练习一下df1.收盘.diff()16 - 金融计算｜涨跌幅df1 新增一列 涨跌变化率，计算前后两日收盘价之差的变化率注意：虽然我们的df1包含涨跌幅列，但是这个操作很常用，所以练习一下，结果可以用于验证df1['涨跌变化率'] = (df1.收盘.pct_change()).apply(lambda x: format(x, '.2%'))17 - 金融计算｜移动均值计算收盘价的5日移动均线df1.收盘.rolling(window=5).mean()18 - 金融计算｜移动均值（可视化）计算并绘制收盘价的5日移动均线df1.收盘.rolling(window=5).mean().plot()19 - 金融计算｜移动均值（可视化）同时计算并绘制 df1 的收盘价、5日均线、20日均线df1.set_index("日期")['收盘'].rolling(window=5).mean().plot() df1.set_index("日期")['收盘'].rolling(window=20).mean().plot() df1.set_index("日期")['收盘'].plot()20 - 金融计算｜指数移动平均值（EMA）根据 df1 计算 EMA20df1['EMA20'] = df1['收盘'].ewm(span=20,min_periods=0,adjust=False,ignore_na=False).mean()21 - 金融计算｜MACD计算 df1 的 MACD 指标exp1 = df1['收盘'].ewm(span=12, adjust=False).mean() exp2 = df1['收盘'].ewm(span=26, adjust=False).mean() df1['MACD'] = exp1 - exp2 df1['Signal line'] = df1['MACD'].ewm(span=9, adjust=False).mean()22 - 金融计算｜布林指标计算并绘制布林指标，计算方法参考百度百科df1['former 30 days rolling Close mean'] = df1['收盘'].rolling(20).mean() df1['upper bound'] = df1['former 30 days rolling Close mean'] + \ 2*df1['收盘'].rolling(20).std() # 在这里我们取20天内的标准差 df1['lower bound'] = df1['former 30 days rolling Close mean'] - \ 2*df1['收盘'].rolling(20).std() import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['Songti SC'] #设置中文，如果本句代码导致失效，可以点击https://mp.weixin.qq.com/s/WKOGvQP-6QUAP00ZXjhweg df1.set_index("日期")[['收盘', 'former 30 days rolling Close mean','upper bound','lower bound' ]].plot(figsize=(16, 6)) plt.show()23 - 日期移动｜值将 df1 的索引设置为日期，将 df1 数据向后移动一天df1.set_index(['日期']).shift(1)25 - 日期重采样｜日 -> 周按周对 df1 进行重采样，保留每周最后一个数据df1.set_index('日期').resample('W').last()26 - 日期重采样｜日 -> 月按月对 df1 进行重采样，保留每月最后一个数据df1.set_index('日期').resample('M').last()27 - 日期重采样｜分钟 -> 日按日对 df2 进行重采样，保留每天最后一个数据df2.set_index('时间').resample('D').last()28 - 日期重采样｜低频 -> 高频将 df2 的 5分钟 数据改为 3分钟，缺失数据向前填充df_3min = df2.set_index('时间').resample('3min').last()df_3min.ffill()
-
-
国内高匿免费代理 爬虫代码 只爬了ipimport requests import parsel import base64 import re res = requests.get('http://ip.yqie.com/proxygaoni/index.htm') res.encoding = 'utf-8' for i in parsel.Selector(res.text).xpath("//tr/td[2]").extract(): print(base64.b64decode(re.findall(f'window\.atob\("(.*?)"\)', i)[0]).decode())新增一个lxml的xpath版本import base64 import re import requests from lxml import etree res = requests.get('http://ip.yqie.com/proxygaoni/index.htm') res.encoding = 'utf-8' for i in etree.HTML(res.text).xpath('//tr/td[2]/script'): print(base64.b64decode(re.findall(f'window\.atob\("(.*?)"\)', i.text)[0]).decode())
-
贝壳租房爬虫 import urllib.request as request from bs4 import BeautifulSoup import os def downloadImg(url: str, name): soup = BeautifulSoup(str(request.urlopen(url).read(), encoding='utf-8'), features='html.parser') savePath = f"./result/images/{name.replace('/', '-')}" if not os.path.exists(savePath): os.mkdir(savePath) for img in soup.select('div.content__article__slide__item > img'): img = img.get('data-src') with open(f"{savePath}/{img.split('/')[-1].split('!')[0].split('?')[0]}", 'wb') as f: f.write(request.urlopen(img).read()) def a(): with open('./result/list.txt', 'w', encoding='utf-8') as f: for i in range(1, 11): url = f'https://cs.zu.ke.com/zufang/pg{i}/#contentList' data = str(request.urlopen(url).read(), encoding='utf-8') soup = BeautifulSoup(data, features='html.parser') for item in soup.find_all('div', attrs={'class': 'content__list--item'}): imgTag = item.find('img') imgUrl = imgTag.get('data-src') print(imgUrl) title = imgTag.get('alt') print(title) downloadImg( f"https://cs.zu.ke.com{item.find('a', attrs={'class': 'content__list--item--aside'}).get('href')}", title) des = item.find('p', attrs={'class': 'content__list--item--des'}) \ .get_text().replace('\n', '').replace(' ', '') print(des) price = item.find('span', attrs={'class': "content__list--item-price"}).get_text() print(price) tags = [tag.get_text() for tag in item.find('p', attrs={'class': 'content__list--item--bottom oneline'}).select('p > i')] print(tags) f.write(f'{title},{des},{price},{tags}\n') print('*' * 30) if __name__ == '__main__': os.mkdir('/result') a()
