爬虫 标签

App爬虫神器Mitmproxy和Mitmdump的使用

  |   0 评论   |   823 浏览

mitmproxy是一个支持HTTP和HTTPS的抓包程序,有类似Fiddler、Charles的功能,只不过它是一个控制台的形式操作。

timg1jpg

mitmproxy还有两个关联组件。一个是mitmdump,它是mitmproxy的命令行接口,利用它我们可以对接Python脚本,用Python实现监听后的处理。另一个是mitmweb,它是一个Web程序,通过它我们可以清楚观察mitmproxy捕获的请求。

Javascript Injection With Selenium, Puppeteer, And Marionette In Chrome And Firefox

  |   0 评论   |   147 浏览

Browser automation frameworks–like Puppeteer, Selenium, Marionette, and Nightmare.js–strive to provide rich APIs for configuring and interacting with web browsers. These generally work quite well, but you’re inevitably going to end up running into API limitations if you do a lot of testing or web scraping. You might find yourself wanting to conceal the fact that you’re using a headless browser, extract image resources from a web page, set the seed for Math.random(), or mock the browser’s geolocation before running your test suite. Your specific automation framework might provide a built-in way to accomplish some of these, but they all have their limitations.

SS、SSR链接解析,查看对应密码、端口、协议

  |   0 评论   |   563 浏览

网上有很多人会分享一些免费的 ss/ssr 免费账号,有的会直接把服务、端口、ip、协议等展示出来(对于这种,直接手动输入相应参数就可以了),有的则直接显示二维码(二维码更方便,直接用客户端软件扫一下就可以使用)。

不过,也有很多是直接以链接的形式展示出来,比如 ss://xxxxxssr://xxxx,对于这种链接的方式,复制链接后,然后直接使用ss 、ssr客户端软件导入链接即可。以 ssr 链接为例,假设有这么一个链接(以下的 ss ssr 链接都转载至 https://doub.io/sszhfx/)。