1 | 文章首发于微信公众号:Python绿洲 。如需转载,请联系该公众号 |
前言
之前发过一篇文章《 Python or Java?Boss直聘告诉你该如何选择》, 主要是这两种语言方向在应聘岗位上的比较,没有涉及具体的岗位要求的分析。前两天,刚好看到网上的一些学习路线图,又对比了招聘网站上的要求,发现这两者其实差不多。
所以就用爬虫爬取了猎聘网上的岗位信息,对这些招聘信息进行处理,从中找出需要掌握的一些语言和工具,从而有目的地进行学习,更快的提高自己的能力,让自己不再因为不知道学习的线路而烦恼,也能够符合招聘的要求。
查看网页

从这个岗位职责中,可以看出需要掌握的工具或语言绝大多数都是以英文为主。所以主要提取英文就行了。至于其他的信息就不进行提取了
流程
- 爬取搜索到的岗位链接
- 进一步爬取详细的岗位要求
- 提取其中英文单词
- pyecharts展示
爬取招聘岗位
使用beautifulsoup
进行解析,主要将岗位名称,详细链接,公司,薪资,位置和学历要求这几个信息存到MongoDB
中就好。
1 | def getLink(seachname, pagenum): |
详细岗位要求
由于任职要求中有<br>
标签,需要将其切除,而且由于使用beautifulsoup
解析,所以<br>
是tag对象,需要创建对象再删除。被这个问题困住了好久。
之后将所有爬取到的岗位要求都写到一个文件中,方便后期使用jieba
切分
1 | def getInfo(url, demands_text): |
分词
使用jieba
分词之后,还需要将一些单词例如:or,pc等上删除,本着“宁可错杀一千,不可放过一个”的原则,所以将少于1个字母的单词使用正则去掉
1 | def CutWordByJieBa(txt, seachname): |
可视化
在这部分,之前只想着将需要掌握的工具用词云进行展示就好。然而,有点幸运呀!当使用Navicat12
连接到MongoDB
的时候,发现它有自动作图分析的功能。所以先用Navicat中的功能,简单的来看一下总体情况:
以爬虫工程师为关键词查询后,使用pyecharts进行数据展示
重点
个人感觉词云更加准确,不过词云和bar
图处理方式都是一样的,只是表现形式不一样而已。从柱状图中可以看出需要掌握的工具可以分为三类:
- 数据库:mysql、oracle、mongodb
- 解析:xpath、css
- 反爬:cookie、ip、scrapy、jwt
其中jwt
(JSON Web Token) 我就不认识。所以通过这种方式,我就可以找到自己的盲区,就算不深入了解学习,但是百度一下,大概知道它是什么,还是可以的嘛
最后
如果有感兴趣的小伙伴,可以自己动手试一下。个人感觉这些排名前10的工具对自己的职业规划还是有点帮助的,也希望能够对你有所帮助!
github地址:https://github.com/stormdony/python_demo/tree/master/LiePin
欢迎关注微信公众号:Python绿洲,获取更多内容!
文章首发于微信公众号:Python绿洲 。如需转载,请联系该公众号