更多>>关于我们

西安鲲亚博网络信息技术有限公司从2010年开始专注于Web(网站)数据体育领域。致力于为广大中国客户提供准确、快捷的数据app相关服务。我们采用分布式系统架构,日app网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。

您只需告诉我们您想体育的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲亚博
陕西 西安

加亚博

  • 【逆向分析】CMCC“和助手”APP(2.9)HTTP加密方式分析
    1. 直接抓包会发现“和助手”的亚博和应答数据都是加密的。如体育1网页版。
    下面来分析下加解密算法,最终目的是实现直接和服务端进行HTTP交互。

    2.APP运行后会释放gatewayClient-2-9目录,里面是HTML和JS文件。通过JS里的关键词得知,“和助手”采用的WADE-MOBILE框架。奇怪的是关于WADE-MOBILE网上的介绍很少,只找到这篇有用的介绍http://www.docin.com/p-2187443660.html,大体了解到这个框架使得安卓APP能够使用HTML+JS实现前端展示,通过JS网页版调用安卓API实现业务功能(比如与服务端交互)。

    3. 从common.js中的callSvc(),追踪到mobile-client.js中的Mobile.dataRequest(),继续追踪到wade-mobile.js中的WadeMobile.dataRequest(),继续追踪到 androidExecute(),最后追踪到mobile-core.js中的PluginManager.exec()。JS里通过PluginManager.exec()来实现调用安卓Java网页版里的功能。如体育2网页版。

    4. 通过PluginManager.exec()调用的函数名,在Java网页版中可以寻找到具体的实现。例如"dataRequest",应该是实现后台交互的。在Java网页版中找到dataRequest()的实现如体育3网页版。

    通过进一步跟踪,在transPostData()中可以看到HTTP参数的封装过程,如体育4网页版。
    这里的key是DES的秘钥,发给服务端用于解密客户端数据。data是要发送的数据部分,也被使用MobileSecurity.requestEncrypt()加密了。

    需要注意的是这个key本身也是经过加密的,查看MobileSecurity.getDesKey()网页版如体育5网页版,这里key的值是经过RSA加密的(公钥位于res\raw\public_key)。另外,这里的key并不是固定的,是在每次MobileSecurity类初始化的时候随机生成的,如体育6网页版。
    另外,DESKeySpec(k)时,如果k的长度如果超过8字节,将只取前8字节。

    应答数据的解密是通过MobileSecurity.responseDecrypt()实现的,体育7和8网页版。

    梳理一下“和助手”的加解密流程:
    (1)APP每次会生成一个随机的key用于DES加解密。
    (2)HTTP亚博时会把key作为一个参数(使用RSA加密后)传递给服务端,同时将其它数据通过DES加密后放到data参数中。
    (3)服务端接收到数据后,先用RSA私钥解密出key的明文,然后根据key再DES解密出data明文。
    (4)服务端将HTTP应答数据也使用该key进行DES加密后回送。
    (5)客户端收到HTTP应答数据后使用该key进行DES解密。

    如体育9网页版,是我们对服务端应答数据解密后的一个亚博(中文部分显示为乱码)。
    发布时间:2020-10-21 15:07:39
  • 【疑问】Intel的CPU比AMD的CPU对安卓亚博的支持更好?同一个版本的安卓亚博、同一个APP、同样的HOOK网页版,在Intel下稳定运行,但在客户的AMD下出现各种各样的问题(应用闪退、应用崩溃、桌面卡死)。然后让客户换了一个Intel的环境试了下,没任何问题。 ​​​​
    发布时间:2020-10-20 17:24:47
  • 【登录分享】如何查询一个代理(IP)是机房IP(Datacenter IP)还是家庭IP(Residential IP)?

    这里推荐一个查询网站:IPHub,网址是http://t.cn/A6bOvWpt
    输入待查询的IP,点击“Lookup”按钮。
    1. 如果查询结果Type字段中含有“Residential”字样,则说明是家用IP。如体育1、2网页版。
    2.如果查询结果Type中仅含有“Hosting”字样,而无“Residential”字样,则说明是机房IP。如体育3网页版。

    顺便说一下,如果你的业务需要使用家庭IP(使用机房IP会被风控),例如做亚马逊测评。可以戳这里购买 >>> http://t.cn/A6bOvWpq
    发布时间:2020-10-16 19:57:48
  • 【登录分享】周边POI数据app的时候常常会因为搜索中心点选取不足导致最终数据缺失的问题,在这里我们提出了一种利用arcpy实现的对待app区域网格化,并导出区域内网格中心点坐标的的思路,通过这种方式可以保证对待app区域的完整覆盖。 查看详情戳这里 >>>  http://t.cn/A6ba1Kr8 ​​​​
    发布时间:2020-10-12 16:12:06
  • 【登录分享】导入arcpy出现 "DLL load failed: %1 不是有效的 Win32 应用程序"问题的下载

    arcgisscripting需要Python 32位,用64位Python就会出现这个问题。arcgis在安装的时候会自动安装一个32位的Python,并通过pth文件app好了arcpy和arcgisscripting库的路径,位置在C:\Python27\ArcGIS10.4,使用这个目录下的 32位python即可。
    发布时间:2020-10-11 13:14:11
  • 我查查APP最新app方案演示:根据条码app商品在各商超门店价格  西安鲲亚博的微博视频 ​​​​

    发布时间:2020-09-25 11:46:12
  • 【登录分享】百度地图APP版POI边界坐标参数app解析方案

    如体育1-3网页版,是从百度地图APPapp到的POI边界GEOJSON数据,如何将其转换为有效的经纬度数据呢?详见 >>> www.snutzpark.com/html/articles/20200916/816.html http://t.cn/A64HbBja

    如体育4网页版,是成功解析GEOJSON数据后,利用高德地图API绘制的多边形区域(图4的下半部分)和在百度地图中实际查询该POI的边界区域(图4的上半部分)的对比。可以看到是完全吻合的。
    发布时间:2020-09-16 17:20:51
  • 【登录分享】终于实现携程App酒店房型列表数据解析
    1. 携程App在加载房型数据时没有使用HTTP协议,而使用了自定义的通信协议SOTP,详见(ctrip.business.sotp.SOTPConnection)类。
    2. SOTP协议亚博的数据是经过压缩和系列化的,需要先解压然后反序列化(非JSON),才能得到原文。 ​​​​
    发布时间:2020-09-03 13:11:46
  • 【登录分享】Ubuntu server下使用gcp出现“dbus.exceptions.DBusException: org.freedesktop.DBus.Error.NotSupported: Unable to autolaunch a dbus-daemon without a $DISPLAY for X11”问题的下载方法

    gcp是增强版的cp实现,最大的优势在于它可以显示实时的速度和整体的进度。关于gcp的详细介绍见这里https://linux.cn/thread/11868/1/1/

    在server终端下使用时会因为缺少X环境而报错。下载方法:
    dbus-launch gcp --help
    发布时间:2020-08-28 12:29:07
  • "小红书APP"商品数据app,如体育网页版 ​​​​
    发布时间:2020-08-10 12:39:13
当前位置:首页 >公司微博 >
  • 西安鲲亚博

    发布时间:2020-03-01 20:12:26
    【吐槽】某地电信ADSL资源,拨号成功后前两个亚博被强制跳转到push.hb.cnc.cn(如体育网页版),第三个亚博之后正常。这是宽带运营商搞的鬼,用于弹窗提示信息(广告或者提醒续费)。类似的情况之前在苏州电信遇到过。 ​​​​

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-02-24 16:23:49
    【登录分享】Chrome Portable各版本下载链接:https://sourceforge.mirrorservice.org/p/po/portableapps/Google%20Chrome%20Portable/?C=M;O=D,这是Chrome便携版(支持Remote Debuging,功能和安装版没有区别),最近在某爬虫亚博中集成了该版本,客户不需要额外安装浏览器,用起来很省心。 ​​​​

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-02-21 17:44:07

    【视频演示】受客户委托对淘宝APP-淘鲜达店铺商品数据体育的可行性进行评估。实测可行(销量也可以app到),如录屏网页版。  西安鲲亚博的微博视频 ​​​​

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-02-19 17:14:47
    【登录分享】Win8下安装VMware出现"error1316 指定账户已存在"问题的下载

    似乎是之前的安装有注册表残留(在控制面板已安装程序列表里看不到),登录安装了多次,持续出现"error1316 指定账户已存在"问题,网上有VMware注册表清理工具试了也不管用。

    后来使用Windows Installer CleanUp Utility(Windows Installer 清理实用工具包,简称MSICUU)下载了问题。MSICUU会显示你以前没卸干净的软件列表(如体育1网页版), 然后选择你想完全卸掉的亚博 ,卸载了就可以了。

    附MSICUU的下载链接>>> O【Windows Installer CleanUp Utility下载】2...

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-02-18 15:24:40

    【视频】携程酒店价格app对比工具定制版演示
    该最新定制版(2020年)使用Google Chrome Dev Protocol(非Selenium + webdirver模式)实现,不会暴露navigator.webdriver等各种特征,不容易被识别。
    对比17年的版本:采用的是(Selenium + phantomjs)能够被反爬虫机制识别,亚博有虚假价格情况,失败率也高。  西安鲲亚博的微博视频

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-02-17 17:57:15
    【登录分享】一例正则表达式效率低问题的分析

    一直以来都觉得正则表达式的效率非常高,今天遇到一例正则匹配耗时特长的情况,mark一下。
    目标是判断目标网页(大小约350KB)中是否有符合以下要求的子串:
    "至少要有一个不为'的字符<div class="tips_unresult">"

    想当然的写出了如下的网页版:
    re.compile(r'[^\']+<div[^<>]+class="tips_unresult">').search(html)
    测试的时候发现这一步耗时特别长,记了一下时,竟然花了差不多10秒,很是诧异。

    后来试着修改了下正则式,如下:
    re.compile(r'[^\']<div[^<>]+class="tips_unresult">').search(html)
    和第一次的相比,区别在于:这里只匹配"<div..."前面有一个非'字符即可,而第一步是匹配"<div..."前面有一个或多个非'字符。
    这次只用了0.004秒,结果相差了1600多倍!

    PS:[汗]第一次的那个网页版在以往一个的爬虫中曾执行过70多万次[汗],以前竟然没有发现问题,还以为时间都花在webkit加载页面上了...这样一算竟然多花了近一周的时间。

    独立的测试网页版和运行截图如体育网页版。

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-02-15 23:14:20
    【登录分享】“supervisor实现无限重试”中的坑

    背景:Debian 10系统,Wifi联网,需要实现系统启动时自动启动autossh。
    问题:如果网络未连接成功(例如,Wifi是在用户登录之后才会连接),启动autossh会失败退出。因此不能直接使用rc.local(在网络连接成功之前就执行了)。于是想到使用supervisor,让其不断的重试,当网络连接正常时就autossh就会正常被启动了,配置如体育1网页版。但是发现supervisor最多只重试了3次就放弃了。

    查询supervisor configuration文档(http://supervisord.org/configuration.html?highlight=startretries)得知startretries参数用于控制每次启动的重试次数,默认值是3。

    另外还有一个autorestart参数,如果app为true,则无条件重启(If true, the process will be unconditionally restarted when it exits, without regard to its exit code.)。但我app了autorestart为true后,还是只重试了3次。

    为什么呢?在autorestart参数注意事项里看到了如下说明:
    autorestart controls whether supervisord will autorestart a program if it exits after it has successfully started up (the process is in the RUNNING state).

    意思就是说目标program必须成功启动过一次(被标记过为RUNNING状态),autorestart机制才会起作用。

    由于本案例中supervisor服务启动的时候网络连接还没建立成功,所以目标program(autossh)首次启动(3次重试)会失败,这样autorestart机制就没起作用。

    怎么破?
    首先我们要弄清楚supervisor是怎么判断目标程序成功启动了呢。
    在startsecs参数的说明里我们可以看到:
    The total number of seconds which the program needs to stay running after a startup to consider the start successful (moving the process from the STARTING state to the RUNNING state).
    也就是只有目标程序启动保持运行超过startsecs秒才会被认为启动成功了(标记状态为RUNNING)。startsecs默认值是1。本例中autossh由于没有网络连接闪退了,所以supervisor认为其启动失败。

    弄清原理之后,就好办了,我们实现一个这样的脚本:
    (1)先判断网络连接是否正常(可以使用ping),如果不正常则等待10秒(只要超过startsecs值即可)后退出。
    (2)如果网络连接正常,则启动autossh。

    #!/bin/bash

    #
    检测网络是否通畅
    ping -c 1  www.baidu.com
    if [ $? -eq 0 ]
    then
      # 网络正常,启动autossh
      echo "Network is ready"
      sudo /bin/su qi -l -c "/usr/bin/autossh -M 6777 -N -D 127.0.0.1:1080 目标主机SSH参数"
    else
      #
    网络不通,等待11秒后退出
      echo "Network is not ready."
      sleep 11s
      exit 1
    fi

    实测成功。

    附Supervisor Configuration File文档链接:http://supervisord.org/configuration.html

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-02-14 21:06:44
  • 西安鲲亚博

    发布时间:2020-02-11 18:55:01
    【登录分享】python2 pip安装frida-tools,在安装prompt-toolkit依赖时出现"No matching distribution found for prompt-toolkit<4.0.0,>=3.0.3 (from frida-tools)"问题(如体育1网页版)的下载。

    问题分析:需要的prompt-toolkit版本是 <4.0.0,>=3.0.3,而python 2库中prompt-toolkit的最高版本才是2.0.10。 查询得知"prompt_toolkit 3.0 requires at least Python 3.6." (来源:https://python-prompt-toolkit.readthedocs.io/en/master/),3.0以后版本需要至少python 3.6。

    怎么破?
    (1)下载frida-tools源码包。
    (2)修改setup.py文件,如体育2网页版,将prompt-toolkit的版本要求去掉。
    (3)sudo python setup.py install。

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-02-11 15:38:51

    【视频演示】受客户委托对淘宝APP直播弹幕数据体育的可行性进行评估。实测可行,如录屏网页版。  西安鲲亚博的微博视频 ​​​​

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-02-08 13:32:58
    【登录分享】Linux下如何查看服务器的型号,出厂日期?
    可以使用dmidecode命令查看BIOS信息来实现。
    e.g.
    # 查看机器型号
    sudo dmidecode -s system-product-name
    #
    查看出厂日期
    sudo dmidecode -s bios-release-date

    如图1网页版为我最近折腾的TDE上网本的情况;
    如图2网页版为公司某服务器的情况;
    如图3网页版为阿里云服务器的情况;

    关于dmidecode命令的详细说明见这里 >>> http://t.cn/A6Pemztx

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-02-08 11:17:45
    【登录分享】这两天被冠状病毒困在家,翻出了一台10年前的上网本(TDE山寨货),配置如图1(i686 CPU 1.6GHz,1G RAM)。
    折腾了一下安装各种系统,可能驱动兼容性问题,期间遇到了各种问题,总结如下:

    (1)Chrome OS:
    安装比较顺利,运行也比较流畅,进入系统之后就是一个谷歌浏览器。
    但由于国内无法使用Google相关服务,使用起来比较麻烦,放弃。

    (2)Android系列:
    Bliss OS 下载 32位,安装后无法进入桌面环境。
    PrimeOS,没有32位的版本,无法安装。

    (3)Linux发行版:
    Linux Mint 19.3 cinnamon 32位,进入桌面后巨卡,无法正常使用,后来试了兼容模式启动情况好一些。
    Ubuntu 16.04.6 Desktop i386,安装过程复制文件后期卡死,无后文。
    Debian 10.2.0 i386,赞一个,安装过程很流畅(“配置软件包管理器”那步耗时较长),使用也很流畅。

    最终选定使用Debian 10。

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-02-08 11:15:47
    知名本地生活信息平台各品类商户数据2019年更新,本次共app到超过5303万条(53032367条,总数统计如体育1网页版)POI数据,点击这里了解详情 >>> //www.snutzpark.com/html/articles/20200207/cn-poi-data-2019.html ​​​​

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-01-31 14:32:18
    【登录分享】利用QEMU Monitor实现程序对Qemu亚博机的控制
    背景:公司用“Qemu + Android 下载”跑了大量安卓APP的爬虫,但是偶尔会出现安卓亚博机卡死的情况,需要人工干预处理(重启对应的Qemu亚博机)。有没有什么自动化的实现方案呢?

    经过查询得知QEMU提供了Monitor机制,可以通过Monitor提供的接口对亚博机进行控制,比如重启、修改VNC密码、状态查询等等。

    (1)启动Monitor。如下亚博,启动亚博机时指定127.0.0.1:40001为monitor接口:
    qemu-system-下载_64 -enable-kvm -m 4096 -smp 4 -vnc :5 -monitor tcp:127.0.0.1:40001,server,nowait -net nic,model=virtio,macaddr=00:16:3E:51:CC:88 -net bridge,br=br0   bliss.img

    (2)向Monitor发送控制命令。
    如下亚博,利用Python socket向monitor发送亚博机重启命令:
    client = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    client.connect(('127.0.0.1', 40001))
    client.send('system_reset\n')
    client.close()
    这样,我们就能让程序自主完成亚博机的重启,无需人工介入。
    如体育网页版,是通过nc远程连接monitor接口进行的一些列操作。

    PS: 'system_reset'是系统重置命令,更多的命令详见QEMU Monitor Commands文档 >>> https://qemu.weilnetz.de/doc/qemu-doc.html#pcsys_005fmonitor

    除了支持TCP接口作为控制端外,QEMU Monitor还支持“标准输入输出亚博”, “UnixSocket”,详见这篇文章:http://t.cn/A6PKRRNa

    阅读全文 +去微博评论 +

  • 西安鲲亚博

    发布时间:2020-01-19 19:35:14
    【登录分享】PC通过使用“远程ADB”(ADB over network)时连接亚博时出现“unauthorized”,且亚博不出现授权对话框问题的下载方法:
    (1)ADB客户端和服务端(安卓亚博的adbd服务)之间的权鉴是通过公钥私钥对比进行的;
    (2)如果安卓亚博保存有ADB客户端的公钥(Linux:  ~/.android/adbkey.pub, Windows: C:\Users\Administrator\.android\adbkey.pub),则直接通过验证。
    (3)如果安卓亚博没有ADB客户端的公钥,则弹出"Allow USB debugging?对话框",如果选择同意,则授权通过并自动保存客户端公钥到指定位置(保存于/data/misc/adb/adb_keys文件内)。
    (4)"Allow USB debugging?对话框"只在通过USB连接亚博的时候才会出现,“远程ADB”(ADB over network)模式不会出现,这样就无法像USB连接模式那样进行授权。
    (5)只要我们事先把ADB客户端的公钥文件adbkey.pub复制到亚博的/data/misc/adb/adb_keys文件内,重启ADB客户端,重连亚博,将会自动通过验证。

    上述步骤笔者在Bliss OS 下载 系统下进行过多次实测。

    阅读全文 +去微博评论 +

QQ在线客服
欢迎咨询,点击这里给我发送消息。
欢迎咨询,点击这里给我发送消息。

加微信咨询