举报投诉联系我们 手机版 热门标签 VUE中文网
您的位置:VUE中文网 > python爬虫网易云音乐评论 Python3爬取网易云音乐评论

python爬虫网易云音乐评论 Python3爬取网易云音乐评论

2023-03-08 19:17 Python3教程

python爬虫网易云音乐评论 Python3爬取网易云音乐评论

python爬虫网易云音乐评论

Python爬虫网易云音乐评论是一种利用Python语言编写的爬虫,它可以从网易云音乐上抓取歌曲的评论信息。这个Python爬虫可以帮助我们快速地抓取大量的歌曲评论,并将其存储在本地文件中,便于后期分析和处理。

使用Python爬虫网易云音乐评论的方法很简单,首先要准备好所需要的库文件,如requests、BeautifulSoup、re、json和csv。然后,我们就可以开始写代码了。

# 导入所需库文件 
import requests 
from bs4 import BeautifulSoup 
import re 
import json 
import csv 
# 获取歌曲id 
url = 'http://music.163.com/song?id=1345848020' 
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'} 
response = requests.get(url, headers=headers) 
soup = BeautifulSoup(response.text, 'lxml') 
song_id = soup.find('em', {'class': 'f-ff2'})['data-res-id'] # 获取歌曲评论信息 
comment_url = 'http://music.163.com/api/v1/resource/comments/R_SO_4_{}?limit=100&offset=0'.format(song_id) # 构造请求头部信息 
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36', 'Referer': 'http://music.163.com/song?id={}'.format(song_id)} # 发送get请求,并把响应数据存储到data中 response = requests .get(comment_url, headers=headers).text data = json .loads(response)['hotComments'] # 将数据写入csv文件中 with open('comments_{}.csv'.format(song_id), 'w', encoding='utf-8', newline='') as f: writer = csv .writer(f) writer .writerow(['用户ID', '用户昵称', '时间', '评论内容']) for comment in data: writer .writerow([comment['user']['userId'], comment['user']['nickname'], comment['time'] , comment['content'] ]) 

Python3爬取网易云音乐评论

本文转载至知乎ID:Charles(白露未晞)知乎个人专栏

下载手机App,0基础随时随地学编程>>戳此了解

导语

利用Python为自己喜欢的音乐制作专属词云。至于词的来源嘛,当然是对应歌曲的所有评论或者热门评论啦!!!毕竟网易云音乐最得意的大概就是那些刷了我朋友圈n多遍的评论了吧~~~


相关文件

百度网盘下载链接: https://pan.baidu.com/s/16GpVk4EDq9hMYZeBoYZmFQ 

密码: dhm4


主要思路

利用Python爬取网易云音乐中相应歌曲的所有评论,并利用这些评论制作歌曲的专属词云。

具体过程见相关文件中的源代码。


开发工具

Python版本:3.5.4

相关模块:

requests模块、jieba模块、scipy模块、wordcloud模块、pycrypto模块、selenium模块以及一些Python自带的模块。

chromedriver_win32版本:2.3.4

chrome版本:65.0.3298.4


环境搭建

(1)安装Python(添加到环境变量)并pip安装相关模块;

(2)安装chrome浏览器,并将相关文件中提供的chromedriver.exe文件放在python安装文件夹中的Scripts文件夹内。

PS:

(1)若chromedriver.exe文件放在其他文件夹,则需将对应文件夹路径添加到环境变量中!

(2)部分相关模块我在相关文件中提供了编译好的whl文件,使用pip+whl文件路径+whl文件名安装即可。


使用方式

在cmd窗口运行并根据提示输入就可以啦~~~


使用演示

利用歌曲热门评论制作词云:

利用歌曲所有评论制作词云:

更多

(1)因为是单进程,所以当评论较多时生成图云的速度会比较慢,因此请慎重选择用所有评论制作词云(昨天晚上多线程跑到一半被封了T_T);

(2)后续会有更多关于网易云音乐的内容,这算是初次试水吧,毕竟要从自己最喜欢的东西做起。

阅读全文
以上是VUE中文网为你收集整理的python爬虫网易云音乐评论 Python3爬取网易云音乐评论全部内容。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。
相关文章
© 2024 VUE中文网 vue88.com 版权所有 联系我们