Scrapy框架初探

scrapy爬虫框架在业内大大有名,自己写过静态网页和动态网页的爬虫,一直没拿scrapy来写,近来看了scrapy的官方文档,了解了大致的流程,故拿来练手实践了一个项目。

本文主要抓取股吧的文章,内容包括:

  • 定义抓取Spider
  • 数据字段的定义
  • 内容解析
  • 数据存储到mysql
  • PyCharm调试scrapy

阅读更多

Pandas数据分析基础

使用pandas,首先导入包:

1
2
from pandas import Series, DataFrame
import pandas as pd

一、创建Series,DataFrame

1,创建Series

a,通过列表创建

1
2
obj = Series([4, 7, -5, 3])
obj2 = Series([4, 7, -5, 3], index=['d','b','a','c']) #指定索引

阅读更多

python 制作标签云

标签云是比较直观的频率分布表现方式,很多网站和APP在年度盘点和总结时会使用。Python生成标签云有一个比较易用的库 pytagcloud。


阅读更多

Python朴素贝叶斯分类器 - 自然语言处理

概念

朴素贝叶斯算法是一个直观的方法,使用每个属性属于某个类的概率来做预测。你可以使用这种监督性学习方法,对一个预测性建模问题进行概率建模。

给定一个类,朴素贝叶斯假设每个属性归属于此类的概率独立于其余所有属性,从而简化了概率的计算。这种强假定产生了一个快速、有效的方法。

阅读更多

人工智能和系统化交易招聘

某大型资产管理公司人工智能和系统化交易招聘
简历发送到: [js_recruit@163.com]

1. 人工智能/机器学习算法研究员

学历要求:博士
职位数量:2人

岗位职责:

  • 使用统计学习方法,挖掘投资者行为特征的数据。
  • 对金融海量数据,针对不同的学习问题,建立起一般性的数据源选择框架。
  • 对金融相关分类和预测性问题建模,并负责系统回测。
  • 与技术人员合作,参与大数据计算框架的设计和运行

阅读更多

python多线程与多进程 超简单使用

Python 的GIL限制了多核CPU的性能,对于IO密集型的程序,采用多线程能显著提高运行速度;但对于计算密集型的程序,多线程就没多少用了,采用多进程编程,就能充分利用多核CPU的性能,CPU占用率能达到100%。

  • 下面是在阿里云服务器上测试的数据:

配置:CPU:Xeon, E5-2680, 2.5GHz, 4核; 内存:16G, DDR4; 硬盘:100G, SSD

阅读更多

网页爬虫之cookie自动获取

本文实现cookie的自动获取,及cookie过期自动更新。

社交网站中的很多信息需要登录才能获取到,以微博为例,不登录账号,只能看到大V的前十条微博。保持登录状态,必须要用到Cookie。以登录www.weibo.cn 为例:

阅读更多

requests初步使用

基本用法

一、发送无参数的get请求

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import requests
In [67]: r =requests.get('http://httpbin.org/get')
In [68]: print r.text
{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.7.0 CPython/2.7.10 Darwin/14.5.0"
},
"origin": "220.231.47.169",
"url": "http://httpbin.org/get"
}

阅读更多

IP代理池的实现框架(安装包)

上一篇 IP代理池的实现 讲解了IP代理池的实现细节。

由于爬虫多个项目都需要用到IP代理,打造一个公用的IP代理库就很有必要。本文主要讲解公用的IP代理库的实现框架。

实现思路如下:
1,数据抓取:从各个IP代理网站抓取大量IP数据;
2,数据筛选:Ping每个IP,连接速度<1.5s的IP地址入库; 3,定时更新:设置定时任务,每日重新Ping数据库内的IP,更新连接速度;

阅读更多

日本蜡烛线理论

一、基本理论及原则

  • 信息量

“信息量”的概念对应着包含在价格数据中的“含金量”:

  1. 任何市场资料所信息量均有限

  2. 任何技术分析手段所提取的信息量只可能少于信息量的极限,绝不可能多于信息量的极限;

  3. 对于相同的市场资料,虽然可能采取不同的技术分析手段,但是所得信息量均限于上述极限之内,因此它们的结果有可能是相互重叠的。

阅读更多