全球主机交流论坛

标题: 深夜再发一次javhd的爬虫，更新了cookie【更新时间 2018年3月... [打印本页]

作者: eqblog 时间: 2018-3-6 03:01
标题: 深夜再发一次javhd的爬虫，更新了cookie【更新时间 2018年3月...
本帖最后由 eqblog 于 2018-3-7 19:22 编辑

更新：
(, 下载次数: 473)

没爬完整说明cookie失效了

3天试用就可以爬

ad：大盘鸡【独服合租】：http://www.hostloc.onozo.cc/thread-433582-1-2.html

作者: ALPP 时间: 2018-3-6 03:03
支持dalao

作者: 菜先生 时间: 2018-3-6 04:28
感谢，不过提示出错了

File "jav.py", line 88
for t in threading.enumerate():
^
IndentationError: unexpected indent

作者: yeshan 时间: 2018-3-6 12:53
支持大佬，刚刚测试顺利，原来在loc发了，刚刚才去GitHub看了下

作者: 恋爱ing 时间: 2018-3-6 12:55
javhd是啥

作者: Jestom 时间: 2018-3-7 10:12
提示: 作者被禁止或删除内容自动屏蔽

作者: hujiamin 时间: 2018-3-7 13:06
不知道是不是姿势又不对。只能爬到30M的短视频

作者: didi7 时间: 2018-3-7 15:12
只能爬1min的视频文件啊，是没有登录的原因吗

作者: maiawpyg 时间: 2018-3-7 15:34
是不是要三天试用账户才可以爬

作者: eqblog 时间: 2018-3-7 18:36

maiawpyg 发表于 2018-3-7 15:34
是不是要三天试用账户才可以爬

对

作者: 咸鱼突刺 时间: 2018-3-7 18:43
感谢分享

作者: cszlxl 时间: 2018-3-7 18:54
每次都爬不下来，不知道哪里不对。打开都显示有个错误。

作者: 水晶矿场 时间: 2018-3-7 18:59
牛逼

作者: eqblog 时间: 2018-3-7 19:07

cszlxl 发表于 2018-3-7 18:54
每次都爬不下来，不知道哪里不对。打开都显示有个错误。

报什么错

作者: eqblog 时间: 2018-3-7 19:22
已更新~~

作者: cszlxl 时间: 2018-3-7 19:24

eqblog 发表于 2018-3-7 19:07
报什么错

您看看打开就这里显示一个叹号，运行了不像别人还能爬一些，我这个就不动。希望帮忙弄一下，谢谢了。

作者: eqblog 时间: 2018-3-7 19:27

cszlxl 发表于 2018-3-7 19:24
您看看打开就这里显示一个叹号，运行了不像别人还能爬一些，我这个就不动。希望帮忙弄一下，谢谢了。 ...

这位。。你看你网速是不是飙升啊。。下载视频需要时间啊。。1080p的清晰度第一部视频有1G的大小呢

作者: cszlxl 时间: 2018-3-7 19:37

eqblog 发表于 2018-3-7 19:27
这位。。你看你网速是不是飙升啊。。下载视频需要时间啊。。1080p的清晰度第一部视频有1G的大小呢 ...

就只下载了一个文件，30多兆，是不是我没办VIP,现在卡没在手里，明天拿卡办理一个，只要好用就行。谢了。

作者: cszlxl 时间: 2018-3-7 19:41
用了更新的文件，文件变大了。。

作者: bigboss60 时间: 2018-3-7 20:54
要先在运行脚本的电脑上登录账号获取Cookies是吗？想在VPS运行但没桌面运行浏览器啊

作者: eqblog 时间: 2018-3-7 20:55

bigboss60 发表于 2018-3-7 20:54
要先在运行脚本的电脑上登录账号获取Cookies是吗？想在VPS运行但没桌面运行浏览器啊 ...

直接运行新脚本就好了。不需要获取。。我用的是我的账户

作者: nerlnsqy 时间: 2018-3-7 21:11
爬到的只是30多M的视频

作者: bigboss60 时间: 2018-3-7 21:24

eqblog 发表于 2018-3-7 20:55
直接运行新脚本就好了。不需要获取。。我用的是我的账户

下了都是30M左右的视频，都打不开

作者: eqblog 时间: 2018-3-7 21:27

nerlnsqy 发表于 2018-3-7 21:11
爬到的只是30多M的视频

那就说明我的会员到期了。或者cookie失效

作者: ru1404 时间: 2018-3-7 22:42
本帖最后由 ru1404 于 2018-3-7 22:55 编辑

  首先报错
File "spider.py", line 39
SyntaxError: Non-ASCII character '\xe6' in file spider.py on line 39, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

解决文字编码又出现错误环境是centos 6.9 windows 没有问题

Traceback (most recent call last):
  File "spider.py", line 79, in <module>
run()
  File "spider.py", line 68, in run
info=s.find_info(page)
  File "spider.py", line 15, in find_info
info=re.findall(r'clickitem="(.*?)".*?t ">\n(.*?)\n.*?</span>',str(req.text),re.M)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1818-1821: ordinal not in range(128)

作者: yumin9822 时间: 2018-3-7 22:54
wget必须分享起来！

作者: itsme 时间: 2018-3-12 20:02
cookie失效是什么意思啊。我爬到600G多后，被自动killed掉了。
vps上再运行脚本，没任何输出信息，自己pc上通过vps的代理去登录会提示：
Confirm your activity
We apologize for the inconvenience but some your recent activity looks as if it may have been scripted. We would like to confirm that your activity is real.

欢迎光临全球主机交流论坛 (https://hostloc.onozo.cc/)