亮出锋芒，剑指苍穹_机灵鹤_CSDN博客-Python 网络爬虫实战,Unity 3D 零碎知识点,Unity3D VR开发常见问题领域博主

私信关注

机灵鹤

码龄7年

于 2014-06-01 加入CSDN

获得成就

获得502次点赞
内容获得311次评论
获得1,387次收藏

荣誉勋章

兴趣领域

#人工智能

#自然语言处理#算法#Python#数据分析#TensorFlow#Flink#神经网络#图像处理#深度学习#NLP#视觉/OpenCV#语音识别#机器学习#PyTorch

TA的专栏

博客公告

恭喜机灵鹤，顺利通过毕业答辩

欢迎大家关注我，欢迎和我交流技术问题，欢迎加我微信，对于博客中的遇到的问题，欢迎提问指出

【Electron-Vue】入门学习笔记之七：Electron-vue ReferenceError: process is not defined 的解决方案

在跟着教程执行创建 Electron-Vue 程序的时候，大家可能会遇到下面的问题。就是在运行创建好的 electron-vue 程序的时候，程序是运行起来了，但是界面不是我们预期的效果，而是报了如下的错误。我的项目环境如下:node v12.18.1npm v6.14.5webpack v4.44.1vue v2.6.11vue-cli v4.4.6System windows 10查看版本号的命令如

【Electron-Vue】入门学习笔记之六：创建第一个 Electron-Vue 项目

前面讲了如何创建 Electron 项目，使用 web 前端作为我们应用的 UI，不过我们的目标是做一个 Electron-Vue 的项目，也就是说前端部分采用 Vue 框架来做。下面是具体步骤：首先，全局安装 vue-cli，如果已经安装过，则跳过。npm install vue-cli -g在本地创建一个空文件夹（作为工程目录），使用命令行窗口打开该目录。执行初始化 electron-vue 命令。vue init simulatedgreg/electron-vue my-p

【Electron-Vue】入门学习笔记之五：PowerShell 因为在此系统中禁止执行脚本的解决方法

在使用 PowerShell 执行脚本的时候会出现：无法加载文件 xxxxxxx.ps1，因为在此系统中禁止执行脚本。有关详细信息，请参阅 “xxxxxxxxxxxxxx”所在位置行:1 字符: 1原因就是我们当前作用域不具备执行PowerShell 的命令。解决方法：查看当前作用域是否具备执行 PowerShell 命令的权限。Get-ExecutionPolicy修改作用域权限Set-ExecutionPolicy RemoteSigned -Scope CurrentU

【Electron-Vue】入门学习笔记之四：Package.json 可配置项

在每个项目的根目录下，一般会有一个 package.json 文件，定义了这个项目中所需各种模板和项目中的配置信息。npm install 命令就是根据这个配置文件，自动下载所需的模块，配置项目中所需的运行和开发环境。{ "name": "first_electron", "version": "0.1.0", "description": "我的第一个 Electron 项目", "main": "main.js", "scripts": { "start": "elect

【Electron-Vue】入门学习笔记之三：创建自己的第一个 Electron 项目

上一节《搭建 Node.js 开发环境》我们安装了 Node.js 环境。这一节，我会带大家开发自己的第一个 Electron 项目。一、使用淘宝的 NPM 镜像首先，我们需要安装 Electron 模块，但是由于 npm 默认是从国外的服务器上下载，网络不是那么稳定，所以，我们先安装一下 cnpm ，从国内的淘宝镜像下载，会稳定一些。npm install -g cnpm --registry=https://registry.npm.taobao.org关于 npm 和 cnpm 的.

【Electron-Vue】入门学习笔记之二：NPM 和 CNPM 的使用及区别

NPM（全称 Node Package Manager，节点包管理器），是 Node.js 的包管理器，用于节点插件管理（安装，卸载，管理依赖等）。CNPM，淘宝源的 NPM 镜像。因为 npm 安装插件是从国外服务器下载的，受网络影响大，容易出现异常，所以淘宝团队做了一个完整的 npmjs.org 镜像,10分钟一次的频率与官方服务同步。cnpm支持npm除了publish之外的所有命令，所以可以放心的使用cnpm来代替npm使用。一、NPM 安装插件npm install <name>

【Electron-Vue】入门学习笔记之一：搭建 Node.js 开发环境

Electron 可以使用纯 JS 来创建桌面应用，使用 Web 页面作为 GUI，相当于一个被 JS 控制的，精简版的 Chromium 浏览器。Electron 基于 Chromium 和 Node.js ，所以使用之前需要搭建 Node.js 开发环境。安装 Node.js，访问 https://nodejs.org/en/download/ 下载最新版本的 Node.js 安装包。在安装过程中的配置界面，勾选 Node.js runtime 、npm package manager 和 Ad

【程序人生】机灵鹤七月份的月度总结

最近天气越来越热了。有多热呢？这么说吧，吃雪糕都得大口嗦，嗦慢了就都流手指上了。0x00 工作方面忙碌了两个来月，参与项目终于在这个月下旬正式上线了。虽说项目中，我是全程被大佬们带躺的，但是毕竟是人生中参与的第一个正式的大型的商业项目，还是蛮有成就感的。尤其是在内测时，看着那么多“找茬”的玩家使用我负责的那个模块，而且一切正常运行时，别提多得意了。（讲道理，我负责的那部分逻辑确实简单，基本上也没有啥机会出BUG，但是就是开心撒哈哈哈）项目忙完了，终于迎来了短暂的工作淡季，可以...

开始入坑 vue 了不知道有什么要注意的地方

发布Blink于 7 月前

Python 网络爬虫实战：爬取知乎一个话题下的全部问题

发布Blink于 8 月前

Python 网络爬虫实战：爬取知乎一个话题下的全部问题

此前分享过一篇知乎的爬虫《Python网络爬虫实战：爬取知乎话题下 18934 条回答数据》，这篇爬虫主要是用来爬取知乎中一个问题下的全部回答数据。而在后续跟读者朋友们的交流中发现，大家关心的其实不仅局限在爬取一个问题的回答，而是爬取某一个话题下，全部问题的全部回答。所以这篇爬虫我会教大家，如何使用爬虫，爬取知乎中某一个话题下的全部问题。0x00 思路分析事实上，知乎话题下的所有问题没有想象中那么容易爬取。我们任取一个话题（如：https://www.zhihu.com/topic.

【程序人生】机灵鹤六月份的月度总结

转眼间，已经是六月的尾巴，我的第一份工作也刚好满3个月整了。今年虽然梦幻开局，虽然经过了超长的寒假待机，经历了居家隔离闷到爆炸，经历了孤身一人来到一个陌生的城市，一个人找房子，搬家，上班，经历了工作中被 C++ 各种花式吊打......但是还好，一切都有一个不错的结果。房子顺利租到了，离公司不远，住着不算宽敞但也挺自在；工作也找到了，在一个很厉害的项目组，有一帮很厉害的同事；经过了前期 C++ 的毒打之后，我也逐渐可以上手项目了；工资够花，除了给家里打一些之外，还能买点自己喜欢的东西；博客也重新..

【Python 骚操作】使用 Gitbook + Typora 打造一个属于自己的电子书网站

前段时间，我在互联网冲浪时候，发现了一个写作的工具组合 Gitbook + Typora，堪称神器。安利到 Blink 和朋友圈之后，有一朋友表示很感兴趣，希望我简单出一个教程，介绍一下这套工具怎么使用。好吧，安排！0x00 效果展示Gitbook + Typora ，我称之为 “神器”，不仅是因为他可以用来写文章，更在于它可以将你写的 Markdown 文章直接转换成 pdf，转成各种常用格式，甚至可以转换成网页直接发布到网上。正好我的个人网站备案审核通过了，就利用 Gitbook.

多线程睡眠法排序从某种角度上来讲这位老哥是个天才

发布Blink于 8 月前

日环食你们看到了吗？

发布Blink于 8 月前

Python 网络爬虫实战：去哪儿网旅游攻略图文爬取保存为 Markdown电子书

发布Blink于 8 月前

网站备案效率也太低了吧都提交审核半个多月了一点动静也没有而且审核期间网站还必须关闭真的难搞哦

发布Blink于 8 月前

去哪儿网站旅游攻略文章测试数据.rar

《Python 网络爬虫实战：去哪儿网旅游攻略图文爬取保存为 Markdown电子书》 https://smartcrane.blog.csdn.net/article/details/106875103 文中爬虫代码配套测试数据

rar

发布资源于 8 月前

Python 网络爬虫实战：去哪儿网旅游攻略图文爬取保存为 Markdown电子书

接上回，《Python 网络爬虫实战：爬取《去哪儿》网数千篇旅游攻略数据》。我们爬取到了数千篇的旅游攻略文章的数据。但是事情还没有结束，对于大部分的人来讲，最希望得到的东西应该不是这种干巴巴的 Excel 数据，而是这种图文并茂的文章吧！其实之前我们爬过很多类似的网站，比如《人民日报新闻爬虫》，《知乎问题回答爬虫》，都是爬取大段的文章。不过区别在于，那些爬虫的关注点在于文字，主要用来做分词，语义情感等方面的分析，不需要人工阅读，所以直接将图片，超链接，排版格式等东西舍弃，仅..

最近发现个神仙工具组合 gitbook+typora 颜值超高写东西用起来真的流畅丝滑到爆炸 i了i了

发布Blink于 8 月前

粉丝终于三百啦还记得当年那个为了3个粉丝努力写博客的我分享的内容得到了大家的认可真的特别感激继续努力哦，机灵鹤！

发布Blink于 8 月前

【Pyppeteer】如何避开网站的反爬检测

【问题描述】有些网站的反爬机制是很强的，不仅网络请求中的参数经过 JS 加密，甚至还针对一些常用的爬虫工具，如 Selenium 作了屏蔽。比如前段时间我爬取的卫健委官网，反爬机制就相当变态（传送门：Python网络爬虫实战：卫健委官网数据的爬取）。本文教你如何设置 Pyppeteer 来完美地避开这些反爬机制的检测。【解决方法】方法一：在导入 launch 之前把 --enable-automation 禁用防止监测webdriverfrom pyppeteer imp.

【Pyppeteer】如何进行超时时时间设置

【问题描述】在爬取网页的过程中，不可避免会有一部分链接失效，或者各种原因导致服务器响应慢，甚至不响应。这里有一个“超时时间” 的参数设置，就是如果服务器在指定时间内没有响应的话，程序直接停止等待响应，抛出异常。Pyppeteer 默认的超时时间是 30 秒。很多时候，30秒其实有点太长，或者太短了，我们希望可以根据项目实际情况，自己设置超时时间。【解决方法】我在网上找了一些方法，也做了一些测试。不知道是不是我的方法有问题，目前只有方法三和方法四测试成功。这里将我...

【Pyppeteer】爬取多个网页时，如何只创建一个浏览器窗口，打开多个页签

【问题描述】使用Pyppeteer 工具写爬虫时，我们一般可以用这样的方式来爬取网页。import asynciofrom pyppeteer import launch url = 'http://www.baidu.com' async def fetchUrl(url): browser = await launch({'headless': False,'dumpio':True, 'autoClose':True}) page = await browser..

Python 网络爬虫实战：爬取《去哪儿》网数千篇旅游攻略数据，再也不愁旅游去哪儿玩了

发布Blink于 8 月前

Python 网络爬虫实战：爬取《去哪儿》网数千篇旅游攻略数据，再也不愁旅游去哪儿玩了

好久不见！今天我们来爬取去哪儿网站的旅游攻略数据。0x00 找一个合理的作案动机作为一名立志成为技术宅的普通肥宅，每次一到周末就会面临一个人生难题：这周末怎么过？本来是没有这些问题的，该吃吃该睡睡，打打游戏敲敲代码，也挺自在。只是后来毕业，来到一个新的城市，赚的钱除了吃住还有富余，总觉得如果不趁着周末和假期出去好好逛逛这个城市，就等于白来一趟，那就太亏了。话虽如此，旅游岂是说走就走的。好几次我下定决心出门，结果在小区门口的十字路口，看着车来车往陷入沉思：我特么去哪儿玩...

来来来，一起摆地摊啊

Python网络爬虫实战：卫健委官网数据的爬取

好久不见！这次我们来爬一下国家卫健委官网的文章。零爬虫和反爬机制间的博弈关于我跟网站反爬机制之间的各种博弈过程，我其实在另一篇博客中详细写了，可惜不知道哪儿触碰到了 CSDN 的审核机制，审查没有通过。其实也是一些失败的爬虫尝试，没什么意思。真的有人感兴趣的话可以私下加我交流。讲道理，卫健委的网站比我想象中要难爬的多，反爬机制是真的强。经过无数次的 412 错误，我发现这个网站的反爬机制有以下几个特点（个人经验，总结不准确或者有遗漏的点欢迎大家补充）。服务器在处...

求助大家一个问题知乎上有一个话题，叫《有哪些男生有女朋友之后才知道的事情》，下面有七千多条回答，每条回答都总结了一部分，有不同的也有相同的。我现在想汇总一下这些回答里的内容，看看提到最多次的最共性的问题是哪一条。纯人工一条一条整理统计肯定是不可能的，而且每条回答也并不是按照固定格式来的，现在一筹莫展。请教一下各位大佬，有没有好一点的办法。或者有没有人对这个感兴趣的，我们一起探讨。

亮出锋芒，剑指苍穹

恭喜机灵鹤，顺利通过毕业答辩

Python爬虫实战 | 人民网爬虫 根据关键词筛选新闻文章

【程序人生】2020 年度总结

QT（c++）使用 setMask 制作不规则窗体时界面卡顿如何解决？

【Cocos Creator 踩坑笔记】如何用代码动态读取资源

【程序人生】1024 程序员节——闲言鹤语

【资源搜集】ProcessExplorer 帮你彻底干掉电脑里烦人的广告弹窗

【Electron-Vue】入门学习笔记之八：Electron-Vue 打包问题

【Electron-Vue】入门学习笔记之七：Electron-vue ReferenceError: process is not defined 的解决方案

【Electron-Vue】入门学习笔记之六：创建第一个 Electron-Vue 项目

【Electron-Vue】入门学习笔记之五：PowerShell 因为在此系统中禁止执行脚本的解决方法

【Electron-Vue】入门学习笔记之四：Package.json 可配置项

【Electron-Vue】入门学习笔记之三：创建自己的第一个 Electron 项目

【Electron-Vue】入门学习笔记之二：NPM 和 CNPM 的使用及区别

【Electron-Vue】入门学习笔记之一：搭建 Node.js 开发环境

【程序人生】机灵鹤七月份的月度总结

Python 网络爬虫实战：爬取知乎一个话题下的全部问题

【程序人生】机灵鹤六月份的月度总结

【Python 骚操作】使用 Gitbook + Typora 打造一个属于自己的电子书网站

去哪儿网站旅游攻略文章测试数据.rar

Python 网络爬虫实战：去哪儿网旅游攻略图文爬取保存为 Markdown电子书

【Pyppeteer】如何避开网站的反爬检测

【Pyppeteer】如何进行超时时时间设置

【Pyppeteer】爬取多个网页时，如何只创建一个浏览器窗口，打开多个页签

Python 网络爬虫实战：爬取《去哪儿》网数千篇旅游攻略数据，再也不愁旅游去哪儿玩了

Python网络爬虫实战：卫健委官网数据的爬取

【程序人生】盛趣游戏 U3D 面经（已拿 offer ）

【操作系统】C/C++中涉及到的内存的五大区域

【编程语言】关于 malloc，calloc，realloc，new 进行动态内存分配的区别

【编程语言】C++中未初始化的数组的默认值问题

Python网络爬虫实战：爬取携程网酒店评价信息

【数据结构和算法】八大排序算法分析和比较

Python网络爬虫实战：利用 Python & ADB & 人脸识别实现自动给抖音漂亮小姐姐视频点赞

【程序人生】虚拟现实（VR）版霍兰德职业兴趣岛测试

【程序人生】1024 程序员节 —— 分享我的技术生活

【Unity3D】如何读取并播放 Android 本地的 wav 音频

【数据结构和算法】从 1 - n 的连续整数中随机去掉 2 个，剩下的数字打乱顺序放到整型数组中，找出去掉的数字？

【数据结构和算法】判断两个矩形是否相交

【资源搜集】7 款不错的聊天机器人 API 接口搜集

【CrackMe 实战】逆向破解实战之 001 Acid burn.exe

【Unity3D】用 Unity3D / C# 如何获取 Android 外置 SD 卡的路径

Python爬虫基础：使用 Python 爬虫时经常遇到的问题合集

【Unity3D】打包的Android应用如何播放本地视频及外置SD卡的视频

【转载声明】转载本博客的文章请注明原始出处和作者

【超级不爽】腾讯居然在我不知情未授权的情况下偷偷的转载我的博客文章

文字转语音大师

【Unity3D】应用打包到 Android 平台后场景内雾效没有出现的解决办法

Python 网络爬虫实战：爬取人民日报新闻文章

【Unity3D】点光源个数较多时部分光源失效的问题

【Unity3D】如何在 VR 中观看全景图片

【Unity3D】如何解决打包时候分辨率失效的问题

【Unity3D】Animation 和 Animator 动画重置到起始帧的方法

Python爬虫实战 | 人民网爬虫根据关键词筛选新闻文章