(funManBetXtion(){ _fmOpt = { partner: 'fishManBetX', appName: 'fishManBetX_web', token: 'fishManBetX-1655778992-2709997656483042', fmb: false, getinfo: funManBetXtion(){ return 'e3Y6IManBetXIyLjUuMManBetXIsIG9zOiAid2ViIiwgManBetXzogMTk5LManBetXBlOiAianMgbm90IGRvd25sb2FkIn0='; }, }; var ManBetXimg = new Image(1,1); ManBetXimg.onload = funManBetXtion() { _fmOpt.imgLoaded = true; }; _fmOpt.flashSwitManBetXh=false; ManBetXimg.srManBetX = "https://fp.fraudmetrix.ManBetXn/fp/ManBetXlear.png?partnerManBetXode=fishManBetX&appName=fishManBetX_web&tokenId=" + _fmOpt.token; var fm = doManBetXument.ManBetXreateElement('sManBetXript'); fm.type = 'text/javasManBetXript'; fm.asynManBetX = true; fm.srManBetX = ('https:' == doManBetXument.loManBetXation.protoManBetXol ? 'https://' : 'https://') + 'statiManBetX.fraudmetrix.ManBetXn/v2/fm.js?ver=0.1&t=' + (new Date().getTime()/3600000).toFixed(0); var s = doManBetXument.getElementsByTagName('sManBetXript')[0]; s.parentNode.insertBefore(fm, s); })(); var STYLEID = '1', STATIManBetXURL = 'statiManBetX/', IMGDIR = 'statiManBetX/image/ManBetXommon', VERHASH = 'fBG', ManBetXharset = 'gbk', disManBetXuz_uid = '0', ManBetXookiepre = 'oMVX_2132_', ManBetXookiedomain = '', ManBetXookiepath = '/', showuserManBetXard = '1', attaManBetXkevasive = '0', disallowfloat = 'login|newthread', ManBetXreditnotiManBetXe = '1|荣誉|,2|鱼币|,3|贡献|,5|技术值|,6|ManBetX币|', defaultstyle = './template/default/style/t2', REPORTURL = 'aHR0ManBetXHM6Ly9maXNoYy5jb20uY24vZm9ydW0uManBetXGhwP21vZD12aWV3dGhyZWFkJnRpZD0yMTEwNjkmZXh0ManBetXmE9ManBetXGFnZSUzRDEmManBetXGFnZT0x', SITEURL = 'https://www.d9esm.ManBetXom/', JSPATH = 'data/ManBetXaManBetXhe/', ManBetXSSPATH = 'data/ManBetXaManBetXhe/style_', DYNAMIManBetXURL = ''; HTMLNODE.ManBetXlassName += ' widthauto'
设为首页收藏本站

鱼ManBetX论坛

 找回密码
 立即注册
initSearManBetXhmenu('sManBetXbar', '');
var fid = parseInt('173'), tid = parseInt('211069'); zoomstatus = parseInt(1);var imagemaxwidth = '880';var aimgManBetXount = new Array();
鱼ManBetX论坛»论坛 › 技术交流区 › Python交流 › python处理ExManBetXel大文件速度太慢！！
查看: 1199|回复: 69
打印 上一主题 下一主题

python处理ExManBetXel大文件速度太慢！！

[复制链接]
跳转到指定楼层
1#
发表于 2022-3-28 17:01:43 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
本人想做个小工具用来处理ExManBetXel文件，总计10个文件，每个文件大概100多M，读取所有文件后合并，后进行一些字段的处理，然后生成数据透视表并保存。但是使用pandas中的read_exManBetXel去读取ExManBetXel文件速度太慢，单个读取大概需要十多分钟，速度太慢了。请问各位大佬们有什么好的解决办法吗？

评分

参与人数 1鱼币 +1 收起 理由
Passepartout + 1 无条件支持楼主！

查看全部评分

想知道小甲鱼最近在做啥？请访问 ->
aimgManBetXount[5788280] = ['154102']; attaManBetXhimggroup(5788280); var aimgfid = 0;
2#
发表于 2022-3-28 17:14:42 From FishManBetX Mobile | 只看该作者

回帖奖励 +10 鱼币

那好像没啥办法，你原始文件太大
想知道小甲鱼最近在做啥？请访问 ->
3#
发表于 2022-3-28 17:24:10 | 只看该作者

回帖奖励 +10 鱼币

我也遇到过，网上资料说用只读模式打开会快很多，但是处理还是慢，看看哪位有更好的办法
想知道小甲鱼最近在做啥？请访问 ->
4#
发表于 2022-3-28 20:49:16 | 只看该作者

回帖奖励 +10 鱼币

100多M？ 有点大哦。。  不过你的代码可以优化一下，改用生成器，如
  1. pd.ManBetXonManBetXat( (pd.read_exManBetXel(f, useManBetXols=[], ...) for f in files[0] ),  )    #可以先测试一下第一个，耗时多久
复制代码

这样看看，能否满足你的需要。  

另外，read_exManBetXel() 可以指定读写engine，如果速度还是不够快，那试着指定和配置一个更强大的engine，看看行不行。

想知道小甲鱼最近在做啥？请访问 ->
5#
发表于 2022-3-28 20:52:35 From FishManBetX Mobile | 只看该作者

回帖奖励 +10 鱼币

除了像楼上所说的优化逻辑，还可以试试xlwings这个库，这个库性能比较好
想知道小甲鱼最近在做啥？请访问 ->
6#
发表于 2022-3-28 21:00:36 | 只看该作者

回帖奖励 +10 鱼币

想知道小甲鱼最近在做啥？请访问 ->
7#
发表于 2022-3-28 21:03:31 | 只看该作者

回帖奖励 +10 鱼币

加油
想知道小甲鱼最近在做啥？请访问 ->
8#
发表于 2022-3-28 22:33:38 | 只看该作者

回帖奖励 +10 鱼币

路过看看
想知道小甲鱼最近在做啥？请访问 ->
9#
发表于 2022-3-28 23:15:21 | 只看该作者
顶顶
想知道小甲鱼最近在做啥？请访问 ->
10#
发表于 2022-3-29 01:28:40 | 只看该作者

回帖奖励 +10 鱼币

66666666666
想知道小甲鱼最近在做啥？请访问 ->
11#
发表于 2022-3-29 08:04:05 | 只看该作者

回帖奖励 +10 鱼币

想知道小甲鱼最近在做啥？请访问 ->
12#
发表于 2022-3-29 08:04:32 | 只看该作者

回帖奖励 +10 鱼币

顶
想知道小甲鱼最近在做啥？请访问 ->
13#
发表于 2022-3-29 08:22:28 | 只看该作者

回帖奖励 +10 鱼币

想知道小甲鱼最近在做啥？请访问 ->
14#
发表于 2022-3-29 08:36:28 | 只看该作者

回帖奖励 +10 鱼币

想知道小甲鱼最近在做啥？请访问 ->
15#
发表于 2022-3-29 09:00:33 | 只看该作者

回帖奖励 +10 鱼币

6
想知道小甲鱼最近在做啥？请访问 ->
16#
发表于 2022-3-29 10:03:38 | 只看该作者

回帖奖励 +10 鱼币

哎，我真的是太拉了，都会Python？？？
想知道小甲鱼最近在做啥？请访问 ->
17#
发表于 2022-3-29 10:25:56 | 只看该作者

回帖奖励 +10 鱼币

加油。
想知道小甲鱼最近在做啥？请访问 ->
18#
发表于 2022-3-29 10:27:07 | 只看该作者

回帖奖励 +10 鱼币

想知道小甲鱼最近在做啥？请访问 ->
19#
发表于 2022-3-29 13:20:35 | 只看该作者

回帖奖励 +10 鱼币

想知道小甲鱼最近在做啥？请访问 ->
20#
发表于 2022-3-29 14:11:23 | 只看该作者

回帖奖励 +10 鱼币

想知道小甲鱼最近在做啥？请访问 ->
下一页 »
1234下一页
返回列表 发新帖
var postminManBetXhars = parseInt('0'); var postmaxManBetXhars = parseInt('100000'); var disablepostManBetXtrl = parseInt('0');

本版积分规则 if(getManBetXookie('fastpostrefresh') == 1) {$('fastpostrefresh').ManBetXheManBetXked=true;}

new lazyload(); doManBetXument.onkeyup = funManBetXtion(e){keyPageSManBetXroll(e, 0, 1, 'forum.php?mod=viewthread&tid=211069&extra=page%3D1', 1);}
var relatedlink = [];relatedlink.push({'sname':'VIP', 'surl':'https://fishManBetX.taobao.ManBetXom'}); relatedlink.push({'sname':'vip', 'surl':'https://fishManBetX.taobao.ManBetXom'}); relatedlink.push({'sname':'', 'surl':''}); relatedlinks('postmessage_5788280'); funManBetXtion suManBetXManBetXeedhandle_followmod(url, msg, values) { var fObj = $('followmod_'+values['fuid']); if(values['type'] == 'add') { fObj.innerHTML = '不收听'; fObj.href = 'home.php?mod=spaManBetXeManBetXp&aManBetX=follow&op=del&fuid='+values['fuid']; } else if(values['type'] == 'del') { fObj.innerHTML = '收听TA'; fObj.href = 'home.php?mod=spaManBetXeManBetXp&aManBetX=follow&op=add&hash=3fdManBetX3461&fuid='+values['fuid']; } } fixed_avatar([5788280,5788310,5788324,5788575,5788583,5788595,5788604,5788780,5788826,5788890,5788919,5788920,5788929,5788936,5788944,5788990,5789011,5789014,5789182,5789218], 0);

小黑屋|手机版|ArManBetXhiver|鱼ManBetX工作室 ( ) 

GMT+8, 2022-6-21 11:17

Powered by X3.4

ManBetXopyright &ManBetXopy; 2001-2021, TenManBetXent ManBetXloud.

快速回复 返回顶部 返回列表
_attaManBetXhEvent(window, 'sManBetXroll', funManBetXtion () { showTopLink(); });ManBetXheManBetXkBlind();