最近遇到一个项目,需要从平台自动爬取相关数据,但是最近的平台的数据接口加固了,除了加入了用户登录后的验证cookie以外,还加入额外的header参数的验证,而且密码被js加密后(非普通MD5加密)post到服务器,js代码已经混淆,基本上不可读,这使得普通的网络爬虫技巧全部失效。一周后,cookie失效,服务器就会提示请登录,强制客户端重新登录。这给我们自动化爬数据带来新的麻烦,要重新登录,就成为了半自动了。
2025年10月14日
最近遇到一个项目,需要从平台自动爬取相关数据,但是最近的平台的数据接口加固了,除了加入了用户登录后的验证cookie以外,还加入额外的header参数的验证,而且密码被js加密后(非普通MD5加密)post到服务器,js代码已经混淆,基本上不可读,这使得普通的网络爬虫技巧全部失效。一周后,cookie失效,服务器就会提示请登录,强制客户端重新登录。这给我们自动化爬数据带来新的麻烦,要重新登录,就成为了半自动了。
2025年10月14日
很多同学在做数据采集/自动化测试的时候,都会遇到一个问题:
有些数据需要登录才能访问,每次写爬虫都要重复模拟登录,太麻烦了。
其实,Cookie 就是解决这个问题的关键!
1 什么是 Cookie?
简单来说,Cookie 就是网站放在你浏览器里的一张“小纸条”,上面写着:
你是谁(登录凭证)
你之前做过什么操作(会话记录)
网站需要记住的配置信息(比如语言偏好)
所以,只要带上这张“小纸条”,网站就知道你已经登录过了。
2025年10月14日
TIN(Triangulated Irregular Network)也名“曲面数据结构”,是由Peuker和他的同事于1978年设计的一个系统,它是根据区域的有限个点集将区域划分为相连的三角面网络,三角面的形状和大小取决于不规则分布的测点的密度和位置,能够避免地形平坦时的数据冗余,又能按地形特征点表示数字高程特征。
TIN常用来拟合连续分布现象的覆盖表面。
不规则三角网数据结构设计中需要考虑的因素:
2025年10月14日
奥维是一款非常方便的地图浏览器工具,我最早接触它是在大学野外采样用到。今天我们就来谈谈奥维地图的优点:
(1)支持多款地图源
2025年10月14日
土地利用现状图(一):分幅图、接合图表原理和下载。
讲一下国土的土地利用现状图的分幅表或者叫结合图表如何获得?它的原理实际上就是在不同的比例尺下以全国的地图创建不同大小的渔网。如果想具体了解可以看分幅编号技术规程,它写了具体多大的比例尺,是多大的经纬度差,实际上就是经纬度差。比方1:100万的是66度1分,1:50万的3度1分,包括编号规则都有。
讲一下如何获取分幅表。
2025年10月14日
如何自动匹配三调国标符号样式?
·首先选择三调数据文件,找到shp格式,直接拖到软件中加载。
·展开左侧图层列表查看数据,选中图层,单击右键打开属性表查看属性。
·点击图层,单击右键勾选显示名称。
·再次选中图层,单击右键选择图层名称,选择所需字段属性作为图班的名称显示。如林地类型字段就可以看到所有的零d类型都显示到了地图上。
2025年09月23日
套接字是对网络中不同主机上应用进程之间进行双向通信端点的抽象,一个套接字就是网络上进程通信的一端,提供了应用层进程利用网络协议栈交换数据的机制。
l 套接字是应用层与传输层的接口,
1. 套接字分类
l 套接字主要有3中类型:流式套接字(SOCK_STREAM)、数据报套接字(SOCK_DGRAM)、原始套接字(SOCK_RAW)