requests初步使用

基本用法

一、发送无参数的get请求

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import requests
In [67]: r =requests.get('http://httpbin.org/get')
In [68]: print r.text
{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.7.0 CPython/2.7.10 Darwin/14.5.0"
},
"origin": "220.231.47.169",
"url": "http://httpbin.org/get"
}

阅读更多

IP代理池的实现框架(安装包)

上一篇 IP代理池的实现 讲解了IP代理池的实现细节。

由于爬虫多个项目都需要用到IP代理,打造一个公用的IP代理库就很有必要。本文主要讲解公用的IP代理库的实现框架。

实现思路如下:
1,数据抓取:从各个IP代理网站抓取大量IP数据;
2,数据筛选:Ping每个IP,连接速度<1.5s的IP地址入库; 3,定时更新:设置定时任务,每日重新Ping数据库内的IP,更新连接速度;

阅读更多

日本蜡烛线理论

一、基本理论及原则

  • 信息量

“信息量”的概念对应着包含在价格数据中的“含金量”:

  1. 任何市场资料所信息量均有限

  2. 任何技术分析手段所提取的信息量只可能少于信息量的极限,绝不可能多于信息量的极限;

  3. 对于相同的市场资料,虽然可能采取不同的技术分析手段,但是所得信息量均限于上述极限之内,因此它们的结果有可能是相互重叠的。

阅读更多

日本蜡烛线形态

日本蜡烛线形态

1,纺锤线

实体较短,说明熊方与牛方正处于胶着状态,一时难分高下。


阅读更多

PyQt4 生成exe打包文件

PyQt4 生成exe打包文件

pyqt是跨平台的GUI平台,本文的UI设计,代码编写在mac下进行,编译成exe,并打包在win7下做的。
python脚本语言,图形化平台不是其擅长的领域,一般都是直接运行脚本,这次因为客户需要一个“成型”的程序去外面给别人展示,故有了此文的背景。
QT作为一个跨平台的开发环境,编写出一个窗口程序,然后打包成python文件是比较迅速的。麻烦的是打包成windows的exe文件,试过py2exe,pyinstaller,都不是很好用,py2exe根本出不来图形界面,最后用到cxfreeze这个工具,才得以顺利打包。

阅读更多

IP代理池的Python实现

爬虫采集数据时,如果频繁的访问某个网站,会被封IP,有些是禁止访问3小时,有些是直接拉黑名单。为了避免被禁,一般采取的措施有三种:

  1. 放慢抓取的速度,设置一个时间间隔;
  2. 模拟浏览器行为,如采用Selenium + PhantomJS;
  3. 设置IP代理,定期更换代理IP,让网站不认为来自一个IP。

阅读更多

Python正则表达式

许多语言处理任务都涉及模式匹配。例如,可以使用endswith(‘ed’)找出以“ed”结尾的词。正则表达式提出了一个更加强大和灵活的方法描述感兴趣的字符模式。在Python中使用正则表达式,需要使用import re导入re函数库。

下表为正则表达式基本元字符,其中包括通配符、范围和闭包

阅读更多

期货大作手风云录 读书笔记

期货大作手风云录

读书笔记

一、趋势

  1. 投机法则之一:放鱼头,弃鱼尾,吃鱼肚。一个品种的趋势行情分为鱼头、鱼肚和鱼尾行情。鱼头行情往往是趋势行情初始起步阶段,你很难分期是反转还是反弹,所以很难吃到。鱼尾行情往往是一波趋势行情的末端,最大的特点是连续的逼空或者逼多,一方认输出局,所谓多头不死空头不止,这种鱼尾行情随时有可能反转或者巨幅震荡,不吃也罢。而在我看来,我们期货作手真正需要去大吃、狠吃的阶段是鱼肚行情,此时趋势已成,行情进三退一,这是才是我们需要重仓且不断浮盈加仓大口吃肉的好时机。

阅读更多