前言
目前有越来越多的基金,无论是公募或私募,都在使用量化交易。未来10年,人工智能将出现在越来越多的投资交易中,不以人工智能为核心的投资平台将很难生存。量化交易的核心在于数据。今天我们就利用python爬虫技术爬取上交所所有股票的历史每周价格,以备分析。
找到数据来源
首先,打开东方财富网个股页面。东方财富网的每周价格数据是通过js传输的,如果直接在网页爬取,得到的是空的数据。因此重点就是找到传输数据的那个js。在Network里我们很快找到了这个js。
复制js的链接在新的窗口打开访问,发现就是我们要的数据。
另外,js的链接也是有规律的,这就好办了,接下来上代码。
代码解析
导入需要的库。
定义两个宏变量。
生成链接列表的函数。
获取历史每周价格,关键函数。
将数据存入csv文件中。
主函数,运行上面的函数。
效果展示
下载过程,每条数据的爬取过程大概需要1秒,整个过程可能需要几十分钟,耐心等待即可。
爬取完成之后,打开csv文件,所有的股票和历史价格都已经乖乖躺在里面。
获取源码
如何获取源代码:
关注微信公众号“无知红”,后台回复 “ 股票每周价格 ” ,即可获取下载地址