【经验分享】 背景: ESXi搭建的Ubuntu16.04虚拟机,添加了5块虚拟网卡,不同的网口桥接的不同的Bas。 问题是: 每次启动后某些网卡的名称(eth号)是随机变化的。 如图1和图2所示,同一块网卡"00:0c:29:b0:17:21",在第一张图中被命名为eth4,但重启后在第二张图中却被命名为eth3。 而拨号系统内不同的 ​

3月27日 23:09转发|评论

【经验分享】Nox(夜神模拟器)+ Android 4.4.2版本今天出现了一个很奇怪的问题,xposed-installer-2.6版本突然无法安装了(3月18日之前没有问题),提示信息如附图1所示(Xposed目前不兼容Android SDK版本19或者您的处理器架构)。更奇怪的是,我在其它6台机器上测试都是如此,绝不是个例。 1. 首先 ​

3月18日 18:48转发|评论

【经验分享】有客户反映使用我们的代理访问某个URL(www.zbfdc.com.cn:81)始终返回403错误,访问其它网站正常。我自己测了一下,的确如此(如附图1所示)。由于是动态IP代理,可以排除IP被封了的问题。 后来注意到,这个网站用了一个非常规的Web端口81,意识到了问题所在。 Squi默认定义了如下端口 ​

3月17日 11:45转发|评论

【视频演示】受客户委托,对"采集某APP内综合商场商户楼层数据"进行可行性评估。实测可行,演示如视频所示。示例数据链接:http://t.cn/A6z5ItRk http://t.cn/A6z5IMGX ​

3月12日 14:05转发|评论

【吐槽】某地电信ADSL资源,拨号成功后前两个请求被强制跳转到push.hb.cnc.cn(如附图所示),第三个请求之后正常。这是宽带运营商搞的鬼,用于弹窗提示信息(广告或者提醒续费)。类似的情况之前在苏州电信遇到过。 ​​​​

3月1日 20:12转发|评论

【经验分享】Chrome Portable各版本下载链接:http://t.cn/A6hD0UqW,这是Chrome便携版(支持Remote Debuging,功能和安装版没有区别),最近在某爬虫项目中集成了该版本,客户不需要额外安装浏览器,用起来很省心。 ​

2月24日 16:23转发|评论

【视频演示】受客户委托对淘宝APP-淘鲜达店铺商品数据抓取的可行性进行评估。实测可行(销量也可以采集到),如录屏所示。 http://t.cn/A6h8Jd0V ​

2月21日 17:44转发|评论

【经验分享】Win8下安装VMware出现"error1316 指定账户已存在"问题的解决 似乎是之前的安装有注册表残留(在控制面板已安装程序列表里看不到),尝试安装了多次,持续出现"error1316 指定账户已存在"问题,网上有VMware注册表清理工具试了也不管用。 后来使用Windows Installer CleanUp Utility(Win ​

2月19日 17:14转发|评论

【视频】携程酒店价格采集对比工具定制版演示 该最新定制版(2020年)使用Google Chrome Dev Protocol(非Selenium + webdirver模式)实现,不会暴露navigator.webdriver等各种特征,不容易被识别。 对比17年的版本:采用的是(Selenium + phantomjs)能够被反爬虫机制识别,返回有虚假价格情况,失败 ​

2月18日 15:24转发|评论

【经验分享】一例正则表达式效率低问题的分析 一直以来都觉得正则表达式的效率非常高,今天遇到一例正则匹配耗时特长的情况,mark一下。 目标是判断目标网页(大小约350KB)中是否有符合以下要求的子串: "至少要有一个不为'的字符<div class="tips_unresult">" 想当然的写出了如下的代码: ​

2月17日 17:57转发|评论

【经验分享】“supervisor实现无限重试”中的坑 背景:Debian 10系统,Wifi联网,需要实现系统启动时自动启动autossh。 问题:如果网络未连接成功(例如,Wifi是在用户登录之后才会连接),启动autossh会失败退出。因此不能直接使用rc.local(在网络连接成功之前就执行了)。于是想到使用supervisor, ​

2月15日 23:14转发|评论

【免费分享】2020年春季人教版教科书PDF574本,9.2GB,拿走不谢 >>> http://t.cn/A6htQjao ​

2月14日 21:06转发|评论

【经验分享】python2 pip安装frida-tools,在安装prompt-toolkit依赖时出现"No matching distribution found for prompt-toolkit<4.0.0,>=3.0.3 (from frida-tools)"问题(如附图1所示)的解决。 问题分析:需要的prompt-toolkit版本是 <4.0.0,>=3.0.3,而python 2库中prompt-toolkit的最高版本才是2. ​

2月11日 18:55转发|评论

【视频演示】受客户委托对淘宝APP直播弹幕数据抓取的可行性进行评估。实测可行,如录屏所示。 http://t.cn/A6hZeFf3 ​

2月11日 15:38转发|评论

【经验分享】Linux下如何查看服务器的型号,出厂日期? 可以使用dmidecode命令查看BIOS信息来实现。 e.g. # 查看机器型号 sudo dmidecode -s system-product-name # 查看出厂日期 sudo dmidecode -s bios-release-date 如图1所示为我最近折腾的TDE上网本的情况; 如图2所示为公司某服务器的情况; 如图 ​

2月8日 13:32转发|评论

【经验分享】这两天被冠状病毒困在家,翻出了一台10年前的上网本(TDE山寨货),配置如图1(i686 CPU 1.6GHz,1G RAM)。 折腾了一下安装各种系统,可能驱动兼容性问题,期间遇到了各种问题,总结如下: (1)Chrome OS: 安装比较顺利,运行也比较流畅,进入系统之后就是一个谷歌浏览器。 但由于国内 ​

2月8日 11:17转发|评论

知名本地生活信息平台各品类商户数据2019年更新,本次共采集到超过5303万条(53032367条,总数统计如附图1所示)POI数据,点击这里了解详情 >>> http://t.cn/A6PeMPyq ​

2月8日 11:15转发|评论

【经验分享】利用QEMU Monitor实现程序对Qemu虚拟机的控制 背景:公司用“Qemu + Android X86”跑了大量安卓APP的爬虫,但是偶尔会出现安卓虚拟机卡死的情况,需要人工干预处理(重启对应的Qemu虚拟机)。有没有什么自动化的实现方案呢? 经过查询得知QEMU提供了Monitor机制,可以通过Monitor提供的接 ​

1月31日 14:32转发|评论

【经验分享】PC通过使用“远程ADB”(ADB over network)时连接设备时出现“unauthorized”,且设备不出现授权对话框问题的解决方法: (1)ADB客户端和服务端(安卓设备的adbd服务)之间的权鉴是通过公钥私钥对比进行的; (2)如果安卓设备保存有ADB客户端的公钥(Linux: ~/.android/adbkey.pub, Win ​

1月19日 19:35转发|评论

【经验分享】Bliss OS X86系统如何开启自动开始“远程ADB”(ADB over network)? 在开发者选项中可以手动开启“ADB over network”,但是重启后会自动关闭(This setting is reset on reboot)。 解决方法: 在/etc/init.sh中加入 setprop service.adb.tcp.port 5555 stop adbd start adbd 重启后“ ​

1月17日 14:05转发|评论