个人简介通用简介：有良好的代码风格，通过添加注释提高代码可读性，注重代码质量，研读过XXX，XXX等多个开源项目源码从而学习增强代码的健壮性与扩展性。具备良好的代码编程习惯及文档编写能力，参与多个高...

小伙伴们看到标题可能会想，我能直接自己登陆把登陆后的cookie复制下来加到自定义的请求头里面不香嘛，为什么非要用python模拟登录的过程？如果我们是长期爬取数据，比如每天早上中午和晚上定时爬取新浪...

前言想实现爬微博的自由吗？这里可以实现了！本文可以解决微博预登录、识别“展开全文”并爬取完整数据、翻页设置等问题。一、区分动态爬虫和静态爬虫1、静态网页静态网页是纯粹的HTML，没有后台数据库，不含程...

电影总是能引发人们的好奇心，尤其是近日上映的电影《孤注一掷》。这部电影由宁浩监制，申奥编剧执导，是一部反诈骗犯罪片。今天给大家讲解一下影片潘生用的什么语言，以及写了哪些程序。揭秘影片中的SQL注入手法...

一、什么是cookie上期我们了解了User-Agent，这期我们来看下如何利用Cookie进行用户模拟登录从而进行网站数据的爬取。首先让我们来了解下什么是Cookie：Cookie指某些网站为了辨别...

首先我们介绍一个Python库，叫做urllib，利用它我们可以实现HTTP请求的发送，而不用去关心HTTP协议本身甚至更低层的实现。我们只需要指定请求的URL、请求头、请求体等信息即...

心血来潮，打算把双色球历史开奖数据喂给大模型，让大模型替我预测一下每期双色球的开奖结果。所以第一步，就是搞定训练的数据源。百度一下，输入双色球开奖结果，看到了中彩网，直接F12打开调试模式get请求，...

在这个爬虫横行的时代，越来越多开发者深受其害：有人怒斥OpenAI的爬虫疯狂“偷”数据，7人团队十年心血的网站一夜崩溃；也有人被爬虫逼到极限，最后只好封掉整个巴西的访问才勉强止血。但本文作者却走...

在PHP生态中，异步编程一直是个难题，传统PHP应用通常依赖同步执行，导致性能受限。然而，Pokio的诞生让PHP也能轻松实现非阻塞任务，提升应用的响应速度和并发能力。Pokio的工作...

最近打算买一些家电，但是电商平台众多，于是我想看看每天到底有多少商品进行降价了，同一款商品在不同平台中的价格又是多少？于是我从0开始翻阅了一些python资料，写了几个python小爬虫。项目背景：电...