Memo_Text Analysis, Deep Learning and Causal Inference

这篇是对社科院办的两个讲座的笔记。第一个报告侧重文本分析与因果分析如何结合;第二个报告侧重词向量模型在社会学中如何应用。机器学习与社会学的结合,虽仍有点玄学炼丹的感觉,但较2018年初我在南京听课时,更深入、更具体了。

Meng TG

Meng TG. Text Analysis and Causal Inference[R]. Chinese Academy of Social Sciences & Baidu: So-coders, 2020.(Online, in Chinese)

一、文本分析概述

(一)文本分析的问题

(1)文本资料难获取;(2)耗时长,即便如今机器学习,仍需要花大量时间编码训练集;(3)难推广,由于涉及跨语种,英语世界和中文世界不同;(4)难管理,数据量大;(5)难分析,非结构化数据仍缺乏标准化特征,文本数据只能做“等或不等”,无法比较大小,且语境等问题仍未得到较好解决。

(二)文本分析的定义

目前的数据存在两种:(1)结构化特征数据,年龄、性别、教育水平、收入等特征;(2)非结构化特征数据,互联网发言,如何匹配?这就是文本匹配希望解决的。
文本分析是一种收集数据的方法论,重要在于采集数据,但提取出的特征关系,如何识别则需要借助计量分析、实验设计或其他新方法。

Text as Data: What is the research process?(Grimmer et al., 2019)
(1)Discovery 探索有哪些话题,如利用深度学习分类;
(2)Measurement 机器学习的目标就是降维,将高维进行压缩降维,并赋予意义,测量概念或变量,其中无监督学习分类仍不好用,误差很高,如果需要因果识别,更建议有监督学习;
(3)Causal Inference 探讨特定自变量对因变量的影响,进而可以预测特定文本归属于哪个主题。
(4)Validate 效度检验

(三)文本分析的内容

1、输入数据,如何表示非结构化文本:自然语言转换为计算机语言,文本表示模型,如向量空间模型、概率模型(文本中语料次序、先后顺序)、潜在概率模型。
2、聚类数据,如何对高维文本进行降维:如某一天的微博有无数个词,可能有几万个维度,为此使用聚类和主题模型。
3、描述数据,如何对文本探索性分析:聚类。
4、描述数据,如何挖掘文本潜在信息:如微博100万信息,文本字面没有,但是有潜在信息,为此使用无监督机器学习的主题模型,分析后可能看到财经、体育、新闻等主题频率;此外语义网络,理解词之间的关系。
5、描述数据,如何理解文本情感信息:如微博的价值偏左或偏右,意识形态等,利用情感分析。
6、分析数据,如何利用文本数据进行因果推论。

(四)文本分类的方法:必须有事后的效度检验

1、词典法:训练集(开发词典或已经有的词典)、测试集(检验词典效度)、分类集(未标识的预测文档)。根据各个词的频率与加权得分,判断一段文本的类别。
2、有监督机器学习:人工分类+机器学习,同词典法的区别是不需要告诉计算机“词的集合”,只需要每一个训练集样本赋予标签;常用算法如Naive Bayes, Logistics, SVM。
3、无监督学习:根据词频次或共显关联自动分类,常用算法如Topic Model, Clustering, Deep Learning。企业中寻求效率,多用无监督,但学术更偏爱效度高的有监督。

二、文本分析与因果推论概述

(一)计算社会科学的处境

(1)优点:在于数据驱动的大数据方法是从大量数据中识别有效数据,提供了非结构化数据、时空数据、真实数据、全量数据;
(2)问题:在于因果推论问题,仅呈现描述,而忽视因果性知识。因果性知识认为,相关依赖于特定时空条件,而因果关系是稳健的、跨时空、可推广的;基于因果关系,可以大幅降低预测成本。
因此,因果推论大数据分析步骤:(1)数据采集;(2)测量;(3)探索性分析(分类与聚类);(4)相关分析;(5)因果推论;(6)预测分析;(7)可视化。

(二)大数据因果推论路径

(1)大数据(描述、测量、加总)+ 计量(PSM, DID, IV et.)。具体把无监督模型与结构模型(如传统回归模型)同步实现,提取主题,识别自变量与协变量对主题的影响;通过反事实因果推论,如PSM、DID等设计类实验,识别干预组与控制组差异。
(2)大数据(描述、相关)+ 小数据问卷调查
(3)大数据(描述、实验条件)+ 实验设计
(4)大数据(面)+ 案例分析(点)

三、文本分析的具体方法

(一)问题

(1)机器学习的测量误差,这会导致因果关系识别有偏,甚至无效,目前的效度普遍是0.7-0.9;(2)测量与计量是分离的,测量损耗了很多信息;(3)抽样有偏。

(二)如何选择模型

1、文本是因变量(Text as DV),结构变量是自变量,使用结构主题模型(Structural Topic Model, STM);
2、文本是自变量(Text as IV),结构变量是因变量,使用实验设计;
3、文本是混淆变量(Text as Confounding factors),使用文本匹配(Text Matching),把控制组与实验组匹配出来。

(三)结构主题模型(STM)

1、数据结构要求
研究对象的文本信息(Text Data)与其他信息(Meta Data),如议会中议员(性别、党派属性)的发言(文本)。
2、模型 Topic Model + Structural Model
Topic Model,测量模型,类似于因子分析,提取内容;Structural Model,类似于回归分析,分析提取因子间的关系。
3、步骤
(1)读入数据,预处理;(2)估计STM;(3)计算自变量、协变量对潜在主题的回归系数与置信区间,正向或负向;(4)估计主题间的关系图,可以再抽象加总;(5)模型诊断,判断预测效果好不好;(6)可视化
4、案例:转型社会的获得感

(四)文本匹配(Text Matching)

1、问题:结构数据使用PSM;文本数据怎么匹配?
(1)难以发现匹配单位;(2)文本维度>>样本量,PSM无法计算;(3)干预组和控制组平衡检验不通过。
2、方法:(1)文本主题(Topic);(2)文本高频词(Word);(3)结合PSM与CEM,Topical Inverse Regression Matching (TIRM包)

四、文本分析的研究案例

(一)大数据 + 计量

1、问题:互联网民意参与对政府决策的影响,是否弥合数字鸿沟?弱势群体参与互联网,会影响政府的再分配政策。
2015年《城市治理调查》,家庭财富与参与政策途径有显著关系。穷人更线上、富人更线下。中国与国外情况不同。假设一个地方弱势群体更活跃,则再分配政策更多。
2、自变量,网络数据:(1)收集政府与公民网络互动数据,爬取地方领导留言板数据;(2)有监督与无监督的文本分析提取;其中,有监督学习readme包(Hopkins and king, 2010),哪些人发帖活跃,其中农民最活跃、灵活就业人群(服务员等)次之、学生再次,工人一般,体制内、企业主最少。弱势群体确实最多。无监督学习,公众要解决什么问题?教育、医疗等福祉问题。
3、因变量,政府数据:(1)收集爬取政府工作报告、地方政府立法与财政支持数据;(2)无监督学习Topic Model (LDA),提取下一年度工作内容。
4、模型:(1)汇总为时间、空间与个人特征数据;(2)计量分析(固定效应面板模型、工具变量)。

(二)大数据+小数据问卷

特征+因果推论,属于理论驱动。

(三)大数据+实验设计

近三五年的热门。自然实验、现场实验、调查实验。案例如DukeU在2014年至2015年的空间与治理研究,结合空间回归分析;King G et al.(2017)社交媒体影响个体政治偏好,乃及国家政策。

Liu HQ

Liu HQ. Deep Learning and Text Analysis[R]. Chinese Academy of Social Sciences & Baidu: So-coders, 2020. (Online, in Chinese)

一、数据来源与问题

(一)传统方式:爬取数据

(1)在线社交媒体:微博、Twitter、 Facebook;(2)在线论坛:天涯、贴吧、reddit;(3)在线问答平台:知乎、Quora;(4)媒体数据库:人民日报、New York Times API;(5)网络交易与评价:淘宝、京东、大众点评、链家网;(6)官方网站:政府留言板、中国裁判文书网;(7)第三方网站:北大法宝、中国知网等;(8)数字化文本:谷歌图书等。

(二)新来源:开放平台

(1)地方政府开放数据,调用api;(2)企业或第三方数据,调用百度词向量、腾讯词向量。

(三)数据问题

(1)噪音数据;(2)自然语言处理技术,无法完全取代人工;(3)变量有限。

二、数据处理方法

(一)数据预处理

1、文本编码 UTF-8等
2、英文:(1)去除大小写、标记符;(2)去除词顺序;(3)去除停用词;(4)提取词干(stemming);(5)去除缺乏判断力的词,如过于稀疏的(频率高>99%或低<1%)。
3、中文:(1)去除标点;(2)去除词顺序;(3)去除停用词;(4)提取词干;(5)去除缺乏判断力的词。可使用哈工大停用词表、川大停用词表等。

(二)数据分析

1、传统词频分析 Term Frequency
Inverse Document Frequency(IDF),并非所有词汇都重要。
IDF=log(N/D),N文档数量、D词汇在多少个文档出现,D越大,IDF越小。后也有TF-IDF。
2、传统独热表示 one-hot vector(文本定量化输出矩阵 DTM)
命令:stata: Ngram; Python: CountVectorizer()

单词1 单词2 单词3
文本1 11 2 7
文本2 3 0 8

(三)文本建模与分析

1、机器学习方法:主题模型(Topic Model);LSA文本相似度计算;半监督学习(随机森林, KNN etc.);Lasso 高维模型;语义网络分析;词向量(Word2vec);循环神经网络(RNN)等。
2、应用场景:验证理论与发现理论
(1)验证理论,半监督学习如上述孟天广研究;(2)发现理论,无监督学习

三、词向量模型概述

(一)开发意义

1、传统独热表示(one-hot vector)
如queen对应向量是[0,1,0,0]。存在问题:(1)维度灾难,硬编码;(2)难以发现词之间关系,如北京和巴黎都是首都。
2、词嵌入表示
2013年google提出的低维、数据中学习的词向量模型,Word2Vec用数值向量表示单词,且向量空间可以很好地衡量两个单词相似性。
如queen对应向量是[0.3,-0.1,0.4,…,0.7],每个词表征为K维向量,相似单词映射到空间中临近部分。
如king-man+woman=queen

(二)模型概述

1、Model: skip-gram(SG),通过一个中心词汇,预测周围词汇,更花时间,但更准确;continuous bag of words(CBOW),通过周围词汇,预测一个中心词汇。输出的权重代表了词向量的值。两层及以上才属于深度学习。
2、Training: negative sampling, hierarchical softmax

(三)案例

1、词汇相似度,词汇间的隐藏关系

eg. W(‘china’)-W(‘beijing’)=W(‘Japan’)-W(’Tokyo’)
(1)特定类型词语库的完善,如骂人的话不断滚雪球;(2)词汇语义网;(3)文本相似性;(3)情感分析,由词频到语义顺序。

2、词汇语义变迁研究 eg. gay(1900s, 1950s, 1990s)

3、PNS论文:美国的性别、种族刻板印象(Grag et al., 2018)

(1)单词列表。获得性别与职业单词。并获得历史统计数据。
(2)量化词向量偏差。以性别为例,计算代表女性的词汇与特定职业的词汇的平均语义距离,作为对比,计算男性的词汇与特定职业的词汇的平均语义距离。二者相减,负向代表该职业与男性更密切。
(3)线下数据与词向量数据进行对比,验证是否存在偏见。
(4)发现:词向量平均偏差为负,但性别不平等在缩小。

4、ASR论文:文化几何学的词向量与阶级(Kozlowski et al., 2019)

目的:训练词嵌入模型,性别、阶级和种族三个维度,进行理论探索。
步骤:(1)生成反义词对,如rich-poor;(2)多个来源数据比对,三个维度的皮尔森相关;(3)语义空间观察,如穷人与富人音乐品味的差异;(4)通过反义词构建单一维度。

5、政策文本分析

传统词匹配算法不适用,语义分析有优势。如补贴、优惠两个词是近似的。

四、其他模型及其应用场景

Minaee S, Kalchbrenner N, Cambria E, et al. Deep learning based text classification: A comprehensive review[J]. arXiv preprint arXiv:2004.03705, 2020.
RNN(paragraph), CNN(picture and text)、Models with Attention Mechanism, Memory-Augmented Networks, Transformers.

------ End of this article ------

Copyright Notice 版权声明

Yuteng Yan by Yuteng Yan is licensed under a Creative Commons BY-NC-ND 4.0 International License.
闫誉腾创作并维护的Yuteng Yan博客采用创作共用保留署名-非商业-禁止演绎4.0国际许可证
本文首发于Yuteng Yan 博客(http://yanyuteng.github.io),转载请保留原文链接及作者。