全球主机交流论坛

标题: 有谁采集过知乎的图片么?求可行经验 [打印本页]

作者: ultramancliub    时间: 2017-9-29 16:35
标题: 有谁采集过知乎的图片么?求可行经验
知乎载入一个话题,不会全部将所有回复都展现出来,每次都需要点“更多”,对想采集知乎某个话题里的图片,面对几千条回复的话题,着实头大。
有没有靠谱的高效率采集方法?
作者: tumbzzc    时间: 2017-9-29 16:48
我有现成的python脚本。
作者: ultramancliub    时间: 2017-9-29 16:51
tumbzzc 发表于 2017-9-29 16:48
我有现成的python脚本。

请不吝赐教分享脚本
作者: tumbzzc    时间: 2017-9-29 16:59
ultramancliub 发表于 2017-9-29 16:51
请不吝赐教分享脚本

https://github.com/za2016/pythoncode/blob/master/zhihu/zhihu_picture_downloader.py
作者: ultramancliub    时间: 2017-9-29 17:35
tumbzzc 发表于 2017-9-29 16:59
https://github.com/za2016/pythoncode/blob/master/zhihu/zhihu_picture_downloader.py

非常感谢
作者: netrefugee    时间: 2017-9-29 17:47
mark
作者: ultramancliub    时间: 2017-9-29 20:02
tumbzzc 发表于 2017-9-29 16:59
https://github.com/za2016/pythoncode/blob/master/zhihu/zhihu_picture_downloader.py

运行这个脚本,你用的PYTHON版本是多少?
作者: tumbzzc    时间: 2017-9-30 09:22
ultramancliub 发表于 2017-9-29 20:02
运行这个脚本,你用的PYTHON版本是多少?

2.7
作者: ultramancliub    时间: 2017-9-30 13:34
tumbzzc 发表于 2017-9-30 09:22
2.7

关于您在“有谁采集过知乎的图片么?求可行经验”的帖子
关于知乎采集的脚本,我在WINDOWS 10运行出现以下错误。不知道你这边是否有遇到过没有?
”=====开始解析======
+++++正在解析第1页+++++
Traceback (most recent call last):
  File "zhihu_picture_downloader.py", line 149, in <module>
    pics=get_pic_from_topic(id,offset)
  File "zhihu_picture_downloader.py", line 116, in get_pic_from_topic
    dat=json.loads(js_data.content)['msg']
  File "C:\Python27\lib\json\__init__.py", line 339, in loads
    return _default_decoder.decode(s)
  File "C:\Python27\lib\json\decoder.py", line 364, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Python27\lib\json\decoder.py", line 382, in raw_decode
    raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded“




欢迎光临 全球主机交流论坛 (https://loc.193.gs/) Powered by Discuz! X3.4