C001-贾园园—网络招聘信息的分析与挖掘

发布时间:2016-10-18 10:11:34来源:本站原创

 摘要:  

        网络招聘凭借其信息传递速度快、空间距离小、成本低廉等优势,已成为招聘者发布和应聘者获取信息的主要渠道。因此,对网络招聘信息进行分析研究,了解社会和相关行业的需求特点与趋势,为广大求职者提供正确的就业指导有着非常重要的意义。本文将基于数据挖掘技术对某招聘网站发布的 50 多万条招聘信息数据进行内在的信息挖掘,提取我们需要进行分析的部分进行深度挖掘和分析。
        针对问题一:本文首先将附件 3 中的非结构化数据进行去重去空、中文分词及停用词过滤等数据预处理,然后基于 TFIDF 权重法提取 50000 个候选特征词,形成词袋,构造词汇-文本矩阵,由于这种方法具有高维度,高稀疏度以及同义词影响的缺点,因此,本文进一步利用基于潜在语义(LSA)分析的奇异值分解算法(SVD)对词汇-文本矩阵进行空间语义降维,语义压缩后的文本向量被认为投影在了同一空间里,再通过 k-means聚类算法对职位的职业类型和专业领域进行划分。
        针对问题二:本文将附件 1 中结构化的数据数值化处理后,运用主成分分析法构建综合排名算法得出各个热门指标的排名,进而对各个指标的未来人才需求走向进行可视化分析,引入时间因素预测短期人才需求走向;
        针对问题三:本文将所有大数据相关职位筛选出来,深入分析其需求增长趋势、行业分布情况、地域分布情况、行业职位特征、行业薪酬情况以及技能要求,对其进行可视化展示,并运用关联规则挖掘对其各个指标的内在联系进行剖析。
        针对问题四:文本另外抓取了 58 同城的网络招聘信息,通过计算 TSI 人才紧缺指数,深入分析了 IT 行业在地域、职位、学历方面的供求现状。
        最后我们根据目前统计学人才培养方案与实际行业需求的差距,提出针对性建议。

关键词:TFIDF;奇异值分解;K-means 文本聚类;主成分分析;关联规则挖掘 
 

 

公众号
返回
顶部
请关注“官方公众号”
Copyright © 2013-2017   广州泰迪智能科技有限公司   技术支持   粤ICP备14098620号