【视频演示】受客户委托对淘宝APP-淘鲜达店铺商品数据抓取的可行性进行评估。实测可行(销量也可以采集到),如录屏所示。 http://t.cn/A6h8Jd0V ​

2月21日 17:44转发|评论

【经验分享】Win8下安装VMware出现"error1316 指定账户已存在"问题的解决 似乎是之前的安装有注册表残留(在控制面板已安装程序列表里看不到),尝试安装了多次,持续出现"error1316 指定账户已存在"问题,网上有VMware注册表清理工具试了也不管用。 后来使用Windows Installer CleanUp Utility(Win ​

2月19日 17:14转发|评论

【视频】携程酒店价格采集对比工具定制版演示 该最新定制版(2020年)使用Google Chrome Dev Protocol(非Selenium + webdirver模式)实现,不会暴露navigator.webdriver等各种特征,不容易被识别。 对比17年的版本:采用的是(Selenium + phantomjs)能够被反爬虫机制识别,返回有虚假价格情况,失败 ​

2月18日 15:24转发|评论

【经验分享】一例正则表达式效率低问题的分析 一直以来都觉得正则表达式的效率非常高,今天遇到一例正则匹配耗时特长的情况,mark一下。 目标是判断目标网页(大小约350KB)中是否有符合以下要求的子串: "至少要有一个不为'的字符<div class="tips_unresult">" 想当然的写出了如下的代码: ​

2月17日 17:57转发|评论

【经验分享】“supervisor实现无限重试”中的坑 背景:Debian 10系统,Wifi联网,需要实现系统启动时自动启动autossh。 问题:如果网络未连接成功(例如,Wifi是在用户登录之后才会连接),启动autossh会失败退出。因此不能直接使用rc.local(在网络连接成功之前就执行了)。于是想到使用supervisor, ​

2月15日 23:14转发|评论

【免费分享】2020年春季人教版教科书PDF574本,9.2GB,拿走不谢 >>> http://t.cn/A6htQjao ​

2月14日 21:06转发|评论

【经验分享】python2 pip安装frida-tools,在安装prompt-toolkit依赖时出现"No matching distribution found for prompt-toolkit<4.0.0,>=3.0.3 (from frida-tools)"问题(如附图1所示)的解决。 问题分析:需要的prompt-toolkit版本是 <4.0.0,>=3.0.3,而python 2库中prompt-toolkit的最高版本才是2. ​

2月11日 18:55转发|评论

【视频演示】受客户委托对淘宝APP直播弹幕数据抓取的可行性进行评估。实测可行,如录屏所示。 http://t.cn/A6hZeFf3 ​

2月11日 15:38转发|评论

【经验分享】Linux下如何查看服务器的型号,出厂日期? 可以使用dmidecode命令查看BIOS信息来实现。 e.g. # 查看机器型号 sudo dmidecode -s system-product-name # 查看出厂日期 sudo dmidecode -s bios-release-date 如图1所示为我最近折腾的TDE上网本的情况; 如图2所示为公司某服务器的情况; 如图 ​

2月8日 13:32转发|评论

【经验分享】这两天被冠状病毒困在家,翻出了一台10年前的上网本(TDE山寨货),配置如图1(i686 CPU 1.6GHz,1G RAM)。 折腾了一下安装各种系统,可能驱动兼容性问题,期间遇到了各种问题,总结如下: (1)Chrome OS: 安装比较顺利,运行也比较流畅,进入系统之后就是一个谷歌浏览器。 但由于国内 ​

2月8日 11:17转发|评论

知名本地生活信息平台各品类商户数据2019年更新,本次共采集到超过5303万条(53032367条,总数统计如附图1所示)POI数据,点击这里了解详情 >>> http://t.cn/A6PeMPyq ​

2月8日 11:15转发|评论

【经验分享】利用QEMU Monitor实现程序对Qemu虚拟机的控制 背景:公司用“Qemu + Android X86”跑了大量安卓APP的爬虫,但是偶尔会出现安卓虚拟机卡死的情况,需要人工干预处理(重启对应的Qemu虚拟机)。有没有什么自动化的实现方案呢? 经过查询得知QEMU提供了Monitor机制,可以通过Monitor提供的接 ​

1月31日 14:32转发|评论

【经验分享】PC通过使用“远程ADB”(ADB over network)时连接设备时出现“unauthorized”,且设备不出现授权对话框问题的解决方法: (1)ADB客户端和服务端(安卓设备的adbd服务)之间的权鉴是通过公钥私钥对比进行的; (2)如果安卓设备保存有ADB客户端的公钥(Linux: ~/.android/adbkey.pub, Win ​

1月19日 19:35转发|评论

【经验分享】Bliss OS X86系统如何开启自动开始“远程ADB”(ADB over network)? 在开发者选项中可以手动开启“ADB over network”,但是重启后会自动关闭(This setting is reset on reboot)。 解决方法: 在/etc/init.sh中加入 setprop service.adb.tcp.port 5555 stop adbd start adbd 重启后“ ​

1月17日 14:05转发|评论

【经验分享】Android X86模拟器如何修改屏幕分辨率大小? 目的:设置屏幕分辨率为 1080x1920 方法: (1) Alt + F1,切换到终端模式; (2) su,获取root权限;] (3)执行wm size 1080x1920,再按Alt + F7返回图形界面即可; 如果想要在启动的时候自动设置,可以把上述命令添加到/etc/init.sh中,Bliss OS ​

1月15日 12:59转发|评论

【经验分享】“KVM(QEMU) + Bliss OS X86 + MockLocation APP"打造支持虚拟定位的Android模拟器,用于APP数据采集小试牛刀: 采集某外卖平台数据。 MockLocation APP是什么? 详见我这篇文章 >>> http://t.cn/AisHGPoY ​

1月13日 10:59转发|评论

【经验分享】推荐一款开源Android x86系统Bliss OS (x86),项目主页是http://t.cn/AiseUYtj。 经过实测我觉得Bliss有如下优点: (1) 比原生的Android x86(http://t.cn/AiN9tQGl)稳定,特别是应用兼容性较好,好多在原生Android x86下闪退的App,在Bliss下都能稳定运行。如图3和4所示,美团APP可以稳 ​

1月12日 10:50转发|评论

【经验分享】qemu-system-x86_64使用网桥出现 failed to parse default acl file `/etc/qemu/bridge.conf` qemu-system-x86_64: -net bridge,br=br0: bridge helper failed 问题(如附图1所示)的解决方法: 原因是缺少/etc/qemu/bridge.conf文件。 (1) mkdir /etc/qemu (2) echo 'allow br0' > /et ​

1月12日 10:05转发|评论

【开源分享】发布一款Android X86虚拟定位的App,支持命令行设置经纬度参数,无需UI操作,专为安卓App自动化模拟操作设计。 用法举例: # 切换定位到"秦始皇陵"(34.384225, 109.254423) adb shell am start -n cn.webscraping.qi.mocklocation/cn.webscraping.qi.mocklocation.MainActivity --es ​

1月10日 15:15转发|评论

【经验分享】Chrome + Remote Debugging模式(注意:不是Selenium + Chromedriver模式)登录淘宝出现“验证码爆错”(如附图所示)。原因Chrome V79版本在Remote Debugging模式时会爆出navigator.webdriver属性,从而被风控。换用V72或V73版本可以顺利登录!(前一条微博也说得是这个事儿) ​

1月2日 15:20转发|评论