毕设

选题：

基于大数据的新闻追溯与整合网站：
——先用java做一个新闻网站，除了实现正常的crud之外，还要通过使用爬虫，文本挖掘，自然语言处理等技术对所搜集到的数据进行处理，将一个新闻事件的全貌从头到尾展示出来。

入门nlp：

——说回NLP,早期的时候发展的其实并不好.最早的时候分为两个派别,一派是语法语义分析派,一派是统计学派.
——举个简单的例子,以分析\"我爱北京天安门\"为例
——前者的思路是分析出\"这是一个主谓宾结构,主语是‘我’,谓语是‘爱’,宾语是‘北京天安门’\",我知道‘爱’是什么意思,知道‘北京天安门’是个地名.那么这句表达的意思也就知道了.
——后者的思路是从大量的文本中找出相似的句子,比如我事先人工搜集了1000个文本,我们人工分析出“我爱xxx,我喜欢xxx,去北京天安门”等等类似的文本,人工标注这些文本,知道这种句子表达的是一种正面的情绪,表达喜欢某个人/地点/事物等. 那么我通过比较,就知道了“我爱北京天安门”表达的意思大概率也是我喜欢某个地方,这个地方叫天安门.
——随着计算机的发展,数据量的增长,统计学派越来越体现出其优势,这就是我们今天的NLP处理的思路：根据大量的已有的文本（语料库）,基于统计学,基于概率,去推测待预测文本的最大可能的含义.
——（截自https://www.cnblogs.com/sdu20112013/p/10162500.html）

第一步：文本获取

怎么拿到一个文本？

Python或java爬虫新闻网站

来源：https://www.cnblogs.com/Sirius1Z/p/15969221.html
本站部分图文来源于网络，如有侵权请联系删除。