基于微博信息数据分析研究综述

基于微博信息数据分析研究综述

基于微博信息数据分析研究进行系统梳理，提出三大研究方法，即适于演化的微博信息的数据表达模型研究；基于谱聚类的适于微博信息的大规模数据集划分方法研究；基于多特征演化联合聚类的在线微博信息划分方法研究。数据表达模型微博信息数据分析微博是基于用户关系内部成员的心情共享与话题传输的媒介，此媒介拥有包罗万象的内容，其中最为典型的内容是，微博会员对社会现象的观点与立场，以及涵盖科技军事、娱乐八卦等讨论话题。所以，关于兴趣爱好的话题、焦点与热点的话题、舆情预警等方面的微博信息数据分析拥有广阔的研究前景。而对于研究前景实践的前提是建立标准的数据表达与数据类型划分的方法。一、适于演化的微博信息的数据表达模型研究在当今信息大爆炸的时代，从海量的信息提取精炼的有效信息，并分析出信息间的关联性是十分重要的。对于微博而言，一方面，从单纯的架构角度分析，微博是一种无结构的文本；但从信息与信息传输角度分析，微博的实质即为拥有广泛内容的结构化网络信息，信息的结构联系为分析信息间的关联性起到辅助性作用。另一方面，每条微博信息为一个文本片段（一段话或一句话），携带的信息量比较小，多条微博信息触及到多种话题且信息量小，这为信息的升华与分析增加了难度。通过以上两点分析可以看出，在微博信息中提取精炼的有效信息，不能套用传统的简单文本信息提取的方法。为此，对于要分类的微博信息，首先要进行预处理，从微博中收集短信息文本集，其中可以包含部分评论、观点描述等内容，去除标签后，进行中文语义、词性、词语分类的标注，并将禁用词删掉。经过预处理之后的短信息文本集中的每一个词需要用建构的数学模型加以表示，过去传统的文本类别划分基本利用向量空间模型表示法，模型构建的过程中多以关键词为首要特征，该方法比较简单、方便，但却容易引起高维稀疏问题且通常没有语义联系。所以，我们采用基于语义概念的表示方法，把传统的具体关键词抽象的映射到概念范畴，然后对原始的关键词的语义进行拓展，从而解决短信息文本集中文本数据分类中存在的概念的层次、一义多词、一词多义的问题。二、基于谱聚类的适于微博信息的大规模数据集划分方法研究层次方法是在众多聚类方法中的一种极其重要的聚类方法。它的基本思想是对数据进行递归分裂或合并，将数据集合划分为嵌套式的类谱系图类或层次结构。它具有下列优势：第一，建立在更合理的假设之上，考虑到了来自不同层次的变量信息和随机误差的多层线性模型，能提供更加有效的区间估计、更加精确的标准误估计和假设检验。第二，任何水平上测量的协方差运用多层线性模型可计算。例如，可以通过计算在总变异中不同水平变异占的比率，来确定不同水平对因变量的影响及影响程度程度，例如研究者可以探讨班级和学生的其他特征对因变量变异的作用到底有多大。还可以分析不同水平上变量之间的交互作用。第三，可以结合所得回归方程形式及数值，得出截距和斜率之间的相关关系，从而更好地解释自变量和因变量之间变化的规律。基于网格的方法是众多的聚类算法中比较常用的方法，被广泛用于空间数据离化等问题。它是以网格为单位学习聚簇，具有速度快、效率高、且能很好地处理高维数据的特点。该方法的缺点是过于依赖密度阈值的选择，并且因为整体构造拥有的是呈现出锯齿状聚簇边界，它不能精确地识别平滑边界曲面。基于网格的聚类算法，利用统一大小的网格划分问题的空间，数据的统计信息皆保存在每个网格中，最终以在网格上进行聚类操作达到目标。网格的数量远远小于数据点的数量，所以，

第1页