豆瓣电影Top250片单（含爬虫代码）

2 年前

德艺洋洋

一枚反欺诈工作者。又喜欢点艺术、诗词与历史。

豆瓣电影TOP250榜单第1名：肖申克的救赎

通过以下代码爬取了豆瓣网页：

import requests,bs4,csv
csv_file=open('movie_Top250.csv','w',newline='')
writer = csv.writer(csv_file)
writer.writerow(['序号', '电影名', '评分', '推荐语', '链接'])
headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.66'
for x in range(10):
    url = 'https://movie.douban.com/top250?start=' + str(x*25) + '&filter='
    res = requests.get(url, headers=headers)
    bs = bs4.BeautifulSoup(res.text, 'html.parser')
    bs = bs.find('ol', class_="grid_view")
    for titles in bs.find_all('li'):
        num = titles.find('em',class_="").text
        title = titles.find('span', class_="title").text
        comment = titles.find('span',class_="rating_num").text
        url_movie = titles.find('a')['href']
        if titles.find('span',class_="inq") != None: