第12周——中国的长城防火墙 GFW ——第一部分

[jingyue]

原文链接：（ 英语 ）
https://jake-mullins.github.io/year-of-hacking-0xc

（ 简体中文 ）翻译文：
～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～

第12周——中国的长城防火墙 GFW ——第一部分

2024年7月(4715字,27分钟)
year-of-hackingchina黑客年度中国审查

去年夏天我手头有空闲时间,因此我通过亲身经历并充分学习中国防火长城的一切知识来占据自己。BYU Cybersecurity Symposium这最终成为我在二月份BYU网络安全研讨会上匆忙介绍的三个国家之一,另外两个是埃及和俄罗斯。从那以后,我忘记了所有的信息,主要是因为我几乎不像现在这样擅长消化论文和信息。为了纠正这一点,我正在整理笔记,而不是将手写版本用于分散在云存储中的各种 OneNotes。

在本系列的第一部分,我将对我所提及的对学术界理解"防火长城"最重要的论文进行文献综述。我希望将来能继续这项工作。我通过Ali Baba Cloud在北京创建了一个弹性计算实例,并将进行实验。这是探讨软件如何塑造外交的更大努力的一部分,尤其是通过Pegasus等私人黑客工具以及人工智能和先进密码学等两用技术的普及。

防火长城是由中国网络空间管理局管理的一项审查计划,旨在阻止中国公民访问外部服务。我学习阿拉伯语,而非中文,因此我不会为限制中国公民使用互联网而付出如此巨大努力的原因进行理论化。然而,人们经常在网上讨论时提到,毛泽东的继任者邓小平曾被引述说:"如果你打开新空气的窗口,就得预料到会有一些苍蝇飞进来。"也许我缺少了更大的文化背景,因此即使他担任中国领导人超过十年,也不会把27年前去世的人当作承重工具来形容。

首先,通过学术论文的视角,大致阐述我们对中国防火长城的理解,最后我会把所有笔记都删掉,包括我的想法、观点,以及每篇论文的简要摘要。

2006年

无视中国的防火墙,作者:理查德·克莱顿,史蒂文·J。默多克和罗伯特·N。M.沃森提出了一种绕过审查的方法,即"防火墙"仅通过向客户端和服务器发出信号,以阻止任何使用启用了RST标志的TCP段连接,而实际上并不会丢弃数据包。如果服务器和客户端都忽略TCP RST标志,数据传输仍然可能发生。论文提出了一个简单的命令(iptables -A INPUT -p tcp --tcp-flags RST RST -j DROP 这使得一台Linux机器几乎不受这种TCP审查方式的影响,但并未帮助处理后来论文中描述的DNS审查。该论文还证明,防火墙对入站的响应与外向流量相同。

2014年

面向匿名作者绘制的"防火墙DNS审查"综合图片,重点关注防火墙的DNS审查部分。这表明防火墙的DNS部分有效率为99.9%,其中约约50万个DNS解析器在中国已有效,已直接穿过该墙。事实证明,DNS注入器位于中国互联网的边界,且不在中国境内实施DNS审查。它还构建了一个被屏蔽的关键词列表,尽管是英文的。

2018

奥斯汀·霍恩塞尔、普拉特克·米塔尔和尼克·菲姆斯特自动为中国推出一款大型文化专用的百叶窗,引入了一种方法。他们构建了一个系统,将现有的被屏蔽网站列表,从这些网站中提取最重要的信息,以网络搜索方式使用该信息,然后将任何生成的网站添加到屏蔽列表中。循环重复,每次迭代时都会填写更多被屏蔽的域。该系统还能够解析中文内容,使其在以往仅处理英文内容的基于域名的审查检测系统上占据优势。

该论文列出了在被屏蔽网站上最常出现的前十个单词、两个和三个单词短语(技术上称为n-gram,而非短语)。一个词括号中包含了诸如 王岐山(王岐山)是习近平的亲密政治盟友,以及 李洪志 法轮功创始人李洪志等名字。两个和三个词的块状物包含更为复杂的想法。政治报道中使用的常用短语,例如: 声明反共产主义 ( 声明反共产主义 , 金取暴暴力镇 ), 非法 拘留 ((中国共产党人威胁)。还有一些敏感话题表明,中共曾表现出从历史中抹去的 天安 駨广 云示威 (天安门广场示威)和1989年(1989年 民主 运主 的民主运动)等 雪安 满 运帻 运动 话题,以及更多可能与批评交织在一起的当前话题,如 香港 政治 香港 政貉 香港 政貉 风沮 和(北达伊会面)。

2021年

高祥宇、Machine Learning Based Network Censorship邱美康和刘美琴向IEEE发表基于机器学习的网络审查书。本文提议,未来将扩展一个非特定且假设的审查系统,以利用用户在发现其试图访问的网站时,利用被误以及被屏蔽的"不良"信息时所产生的疑似倾向。防火墙可以使用机器学习模型分析用户行为,并得出网站是否包含可能被屏蔽的信息的结论。系统随后会利用结果更新其规则集。该论文提出了使用此方法过度屏蔽的一些实际问题。根据过去三年25%的平均增长率,中国应在国际上每秒交换约36个信息。由于需要监控和训练每个连接的高吞吐量,这将极为浪费。然而,在每一个连接上运行此模型并非必要,因为目标是利用一小部分流量来"改进"整个样本所使用的区块列表。做一些关于餐巾纸的整理,一个合理的设置可以收集到极小比例的连接数据,然后进行一些预处理,以仅选择与已知存在"不良"内容且将被屏蔽的网站的连接,然后建立一个可能"糟糕"的网站列表,以便日后由人工审查机构进行检查。

这篇论文令人担忧的一点是,这完全成了我希望"解决"的"问题"。这是一场由资金雄厚的防守球员与狡猾、年轻且富有机智的进攻者组成的独特的猫捉老鼠游戏。我不知道哪一方似乎更有吸引力,成为其中一员。

同年,2021年,林金、淮邵、王海宁和蔡斯·科顿通过精准端到端测量,向ACM计算系统测量与分析会议发表了《了解全球审查实践》。研究人员利用RIPE Atlas、SOCKS代理和VPN,在2020年和2021年的2个时期(包括中国)收集了177个国家的审查检测数据。本文指出,从两次测量到大约13个月,中国已将所有测试域名的23%审查范围从35%上调至35%,变化幅度接近52%。该论文还展示了最常被国家屏蔽的内容类型。中国主要关注屏蔽新闻、外部搜索工具和代理信息,而伊朗、阿拉伯联合酋长国、沙特阿拉伯和以色列等中东国家则主要屏蔽新闻和色情内容。

抛光部分的结束

我读了很多笔记,读了这五篇论文。我宁愿让它们易于获取,即使它们尚未获得美国食品药品监督管理局(FDA)批准用于人类消费。下面我复制并粘贴了每篇论文的笔记,以及一份简短的总结。

无视中国的防火长城

边界路由器将伪造的TCP RST注入到所有后续数据流中。

内容屏蔽的三种方法:

    Packet Dropping数据包丢弃:IP地址的所有流量都被丢弃。[4] 谈到问题有多复杂。此外,[6] 发现其中69.8%.com,.org并且.net域名与其他50个网站共享一个IP,可能来自CDN。

    DNS PoisoningDNS中毒:DNS中毒攻击发生,要么未回复,要么给出重定向至警告页面的错误答案。

    Content Inspection内容检测:最昂贵的选项。代理人将拒绝提供被禁止的材料。更灵活的选择是使用IDS。

测试重置行为时,发现当目标到达时,RST 片段的 TTL 为 47,即由不同来源生成。这种技术可用于准确确定审查程序在路径上的发生位置。

该论文提出,存在一个偏离路径的审查机制,该审查程序将根据关键词搜索来评估数据包。如果一个数据包被评估为"坏",它将生成3个TCP RST段以终止连接。然而,审查方无法从数据流中移除该数据包。因此,无法保证在数据被发送到目标后,由审查程序生成的单个TCP RST片段会到达,这意味着该片段将无效。这可能是导致多个TCP RST被传输的原因。

他们试图弄清楚一条路径中存在多少个并行的审查系统,但失败了。然而,他们发现在多个数据包之间分配一个"错误"查询就足以避开审查程序。

忽略审查所发送的RST片段的设置看似简单。只需要一个iptables配置,它会丢弃任何具有以下功能的输入TCP段RST启用了旗帜。

iptables -A INPUT -p tcp --tcp-flags RST RST -j DROP

解析此命令:

    iptables:用于配置Linux内核网络规则和防火墙的命令行工具。

    -A INPUT仅适用于输入数据包

    -p tcp仅适用于TCP数据包

    --tcp-flag RST RST仅适用于具有以下部分的RST启用了旗帜。

    -j DROP: 匹配先前规则时应采取的操作。

防火墙有时也会注入SYN/ACK如果在合法之前到达的片段SYN/ACK由于错误,会导致连接关闭ACK价值。这种审查方法对于绕过使用这类工具来说几乎并非微不足道iptables。一些潜在的规避技术包括改变内核的行为,以在畸形时不断开连接SYN/ACK部分已到达,但应丢弃,等待新的。如果客户端的所有流量都通过代理路由,我可以想象这相当简单,因此无法进行内核修改。或者,还有另一种简单iptables可以实施的规则。

该论文继续讨论了构建审查规避系统的战略考量,包括防火墙可能检测到加密流量的可能性。这也带来了放弃每一个因素所带来的实际影响RST片段。作为一种潜在的解决方案,可以区分来自合法目标的TCP RST,因为它们具有不同的TTL。修复该方法需要内核更新或专用软件。然而,在更新(2006年)时默认此行为,对于TCP/IP堆栈的供应商而言,是合理采取的步骤。本文还明确指出,通过更新RST片段,使其与被审查的数据包具有相同的TTL,对此进行修复将很简单。这是防火墙设计者与反审查变通方法的杂乱开发者所面临的军备竞赛的有趣体现。

想法

这篇论文已经足够老了,可以投票了。然而,这是防火墙架构师与开发技术以逃避审查的人员之间公开传播的军备竞赛的一个里程碑,它正确预测防火墙将通过检测加密数据来增加复杂性。一行iptables此时完全绕过防火墙所需的全部命令对我来说仍然令人震惊,我不知道自己从第一次开始就记不住这一点。

迈向防火墙DNS审查的全面图景

2014年发布于USENIX Security。

背景部分声称,存在有限的"恶意"IP列表,这些IP是由于审查人员在试图解析"不良"域名时注入DNS响应所致。当时可以区分注射和合法的数据包。本文撰写时,恶意IP数量为174个。

方法论部分提到了来源[8]中引用的"王"方法,该方法可间接触发DNS查询,以打开我们控制下的域名解析器。

第四节标题为"DNS注入有效性",详细说明了研究人员如何通过在UDP端口53上查看整个IPv4地址空间,查找可持续访问的端口,以及MaxMind位于中国的GeoIP,从而发现所有打开的DNS解析器。这种方法产生了约15万个打开的解析器。运行King方法时,他们发现在78个失败的解析器中,大多数用户都使用了谷歌的公共DNS。它还声称单个解析器完全在防火墙范围之外运行。

在第五节中,作者试图寻找DNS注入器。防火长城的既定目标是防止外国网站被中国公民浏览,因此如果这些昂贵且复杂的审查系统位于中国脊梁电缆与外国电缆交汇处的边界,将具有重要意义。然而,在作者任职期间,关于中国境内是否存在审查制度,以及来自中国以外的交通情况,存在一些争议。作者们设计了一个实验来解决这一争论。

第六节涉及在审查DNS回复时对GFW规则进行逆向工程。查询了约1.3亿个通过使用Alexa 100万及该区域文件构建的名称.com,.net,.org并且.info并添加www子域。从2013年8月到2014年4月的八个月内,被审查域名的数量增加了约10%。他们提供的数据意味着,控制器在审查过程中添加新关键词的时间明显多于删除先前被审查过的关键词。利用那份1.3亿个域名的列表,研究人员能够利用一个简单的二进制搜索来准确判断该域名的哪个部分触发了该区块。他们提取了35332个被屏蔽的名字,14495个关键词。顶部被屏蔽的域名是:facebook.com,twitter.com,youtube.com,was.info,33a.com,88sf.com,appspot.com,kproxy.com,mefans.com并且sf888.com。

第七节试图通过在中国境内选择一个24度空间来对GFW中单个节点的结构进行逆向设计,以提高所有主机在同一审查系统后方的可能性。通过触发GFW,研究人员能够得出结论:有4个独立的接口注入了有毒的DNS数据包。研究人员还能够在节点处对负载均衡算法进行逆向设计。

想法

本文为学术界构建了若干重要的基础真理,以构建未来的实验,至少涉及系统中一半的DNS审查:

    防火长城仅对中国边境进行审查,且不在中国境内进行DNS注入审查。

    创建 GFW 在决定审查数据包时所使用的关键词列表。

    逆向设计防火墙单个节点的架构。

自动为中国生成一个大型的、特定文化的屏蔽列表

该引言声称,他们改进了通过敏感中文短语提取区块列表的过滤网法,并创建并分析了1125个此前未发现的审查域名的列表。

背景部分指出,先前构建的区块列表要么不可用,要么过时,也不为中国文化和语言所特有的,且无法检测到新审查的网站。

自然语言处理(NLP)是一个将语言、统计学和计算机科学相结合的领域,旨在以任何媒介(但通常为文本形式)处理人类语言。this根据阿比谢克·贾恩的这篇媒体文章Abhishek Jain,N-grams 是"'n' 项的连续序列......这些物品可以是字符、文字,甚至音节"。这些可以是单字,包括"猫"和"狗"这样的单词,像"机器学习"这样的大字,像"中国人权"这样的字母,以及无限。区分不同n-grams的n很重要,因为一个词的上下文可以极大地改变其含义。例如,许多防火墙运营商对提到"天安门广场"一事并不感兴趣,因为它是中国第二大著名地标,正对街对面的一处著名地标。然而,在接近这一点的地方提及"1989"肯定会引起人们的注意。该论文以"摧毁共产党"一词为"毁灭"、"共产主义"、"党"等方式,不使用"n-grams"来解释。这种方法对于基于字母的语言来说相对简单,因为单个单词被英语、西班牙语、阿拉伯语、俄语、印地语等语言分隔在一起。

创建区块列表的过程遵循以下步骤:

Step 0步骤0:从已知被屏蔽的网站初始列表开始。test-lists该实验使用了公民实验室的测试列表仓库,该仓库在作者身份时曾保存了220个被GFW屏蔽的网站。一些更知名的网站包括falundafa.org法轮功主页whitehouse.gov。

Step 1第一步:使用常用的 NLP 工具集合 Stanford CoreNLP,从内容中访问每个网站,并从中文和中文中抽取。

Step 2步骤2:使用TF-IDF技术对网站中的每个短语进行排名,与带有中文文化的语料库进行比较。

Step 3步骤3:使用非删改的搜索引擎对最重要的短语进行搜索查询,并收集搜索结果。

Step 4步骤4:在中国境内测试每个搜索结果是否存在DNS操作。

Step 5步骤5:通过DNS操作显示审查迹象的已知已审查域名列表。

Step 6步骤6:重复步骤1到5,直至混合均匀。如果无法在中国境内自行建造电脑,商店购买就没问题。

该系统是对先前区块列表构建技术的一种改进,因为它通过从每个被禁网站的内容中"学习"来填充列表,并且能够使用中文内容。

在这项实验中,作者选择在第三步中屏蔽来自Blogspot、Facebook、Twitter、YouTube和Tumblr的搜索结果。这些网站早已被屏蔽。

以下是结果:

想法

我非常喜欢这篇论文。它引入了一个系统,能够基本自主地判断中国政府对隐藏信息感兴趣的内容。我好心希望这个实验现在开始运行,以查看当前列表。

基于机器学习的网络审查

第二页对本文的存在具有一定的伦理依据。

第三部分讨论了不同公司,这些公司会对作者认为的审查行为进行审查:

    Facebook:在Live和Messenger上预防自杀,检测用户是否有自杀倾向。

    YouTube:被发现的"与恐怖主义相关"的内容。

    推特:整个推特的NLP算法是一种审查形式。

"行为分析"有助于网络审查。

第4节:机器学习算法利用这样一种假设:如果用户试图访问被屏蔽的网站,他们会试图在其他网站上搜索这些信息,从而告知算法哪些网站可能包含类似的被屏蔽信息。该论文提出了三种可能的系统,用于完成是否应阻止后续访问网站的任务、基于人工的流程、基于机器的流程以及人机协作

想法

这篇论文完全不可能描述防火墙的现有状态,甚至无法描述对防火墙的拟议扩展,而可能是一个为降低吞吐量的私营企业网络而开发的系统。事实上,大多数高端商品防火墙能够自动屏蔽网页,如果涉及"黑客"、"色情"和"赌博"等广泛类别。这在企业环境中是一项非常理想的功能,但在我看来,这几乎是在构建用于过滤恶意流量、恶意软件和网络入侵的系统时产生的意外附加功能。然而,本文旨在改进企业防火墙的证据很少,尤其是因为本文由任何人资助,我敢肯定他们控制着这道防火墙。纸上确实存在的明确道德理由,即自我审查和叽叽喳的言辞:

71%的受访者认为"审查制度应以某种形式存在于互联网上"。有时,各国会屏蔽那些被认为与所接受社会规范对立的话题的网站,特别是为了保护儿童免受不适宜内容的侵害。然而,在同一项调查中,83%的人认为"互联网访问应被视为一项基本人权",因为屏蔽那些可能有助于提供其所希望内容的网站将非常令人烦恼。

也许,该论文在网络审查中对"反对"一方的人们所表现出的轻蔑态度,是将作者的母语中文翻译成学术英语的一个问题。然而,审查问题的框架最终产生了两面性:即保护儿童免受有害内容侵害,以及那些因获取虚假且毫无实质性的信息而受到轻微不便的人。也许这是糟糕的写作,或者这种框架试图消除审查制度,将其视为一种完全与西方民主相对立的控制体系,并巧妙地将那些为言论自由和信息自由而抗争的人描绘成缺乏耐心且要求苛刻的人,同时也缺乏对父母保护子女的本能的漠视,从而轻易地获得毫无实质性的束缚。

在第3节中,作者列举了三个美国私营公司在其平台上进行审查的实例,这些例子使用了Facebook检测自杀行为来进行干预,YouTube删除了与恐怖主义相关的视频,而Twitter则使用了算法中固有的自然语言处理方式,而不是典型的反向时间顺序。

对这三位美国私人人士的行动的选择似乎表明,作者不愿承认,使用这项工作最可能的做法是阻止信息在边境之间的自由流动,而不是阻止自杀或阻止恐怖分子。在背景部分,他们甚至以在工作环境中最大化生产力作为领域示范应用的示例,介绍了行为分析领域。这种精心挑选的良性且相对恰当的例子,可能被用来推动任何关于该领域更阴险使用场景的想法,尤其是在专制政府手中。

如果我三十年前写这篇文章,就得偷偷进入伯克利或南佛罗里达州立大学图书馆,在图书馆的操作时间内找到IEEE会议记录的纸质或缩微胶片,然后坐下来阅读论文,并可能在图书馆的操作时间内全部撰写这篇文章。如今,随着现代信息技术领域学术资源日益开放和平易近人,论文正受到业界和专家前所未有的审视。我祝贺纽约大学的高祥宇、德克萨斯农工商业中心的美康骏和浙江大学的刘美琴,他们确保自己的想法能够与全世界分享,并撰写一篇精彩而富有创新精神的论文,并祝愿他们在本已辉煌的学术生涯中一切顺利。

虽然我不同意为推进互联网审查领域所做的工作,但我理解中国共产党将继续回避他们认为的对免费信息控制不足的问题,而不论这篇论文是否被公开。我很感激自己生活在这样一个世界里,有一篇公开的学术论文记录了互联网审查制度的进步,但却未能真正解决工作的伦理复杂性,而忽视了那些将这些信息遗留在内部文档中的世界。我也感谢作者们如此坦率地展示了这一信息。将这项工作描述为"基于机器学习的新型网络过滤框架",将论文完全置于私营企业的情境中,而非国家背景。三位与中国政府合作开展国家审查项目的研究人员选择将研究成果发表给一家享有盛誉的美国期刊,却并未提及他们更贴近西方受众形象的目标。在我看来,这体现了美国学术文化的强大力量,以及我们在让一些不可言和有害的想法受到同样的学术审视时所接受的安慰。

通过精确的端到端测量,了解全球审查的实践

2021年发表于计算机系统的ACM测量与分析。

本文共26页,比该领域的普通论文长得多。

在网络审查的背景下建立"基本真相"非常困难,因为在多个国家,你通常需要比较数据来源。这意味着尝试在不同地理位置解析同一域名可能会获得不同的IP。之前尝试使用此服务器,重复接收回发送方的字节,但这些服务器不会运行在端口80或443,即HTTP和HTTPS请求的典型端口。许多审查系统只会检查这些端口,使得这种特定方法毫无用处。

作者介绍了Disguiser,这是一种利用控制服务器作为目标的系统,能够针对来自各个空白点的所有网络请求,成为最终的真相。这些优势将来自RIPE Atlas,一个常见的互联网测量平台、SOCKS代理列表节点以及一些VPN。系统会从缓存中移除任何响应,并实现极高的准确率,实现10^-6的误报率。

该论文确定了三种不同的审查技术,这些技术均位于应用程序层,即一套通过网络处理应用程序通信的协议。

DNS 屏蔽:通过 RST/FIN 注入阻止 DNS 请求以终止连接。

HTTP 拦截:通过 RST/FIN 注入或删除请求来阻止 HTTP 请求。

HTTPS 屏蔽:根据该域名发送的域名来屏蔽 HTTPS 请求Client Hello使用 RST/FIN 注入、丢弃数据包或注入伪造证书进行 TLS 协商的部分。

Disguiser第三部分是对Disguiser系统更多技术信息的介绍。它采用了不同的方法来检测DNS、HTTP和HTTPS的审查,但每种方法都归结为了解一个合法且未经删减的结果,并将其与实验中实际收到的结果进行比较。为了尽量减少某些网络边界点中代理中缓存内容的影响,横断点会有效地查询将内容更改两次的服务器,如果验证点接收到相同的结果,则显示代理存在,并移除该数据点。该系统也使用了traceroute检测一个审查器通过连接的跳出数量。traceroute增加包含被审查信息的IP数据包的实时时间(TTL)字段。一旦数据包进入审查程序,审查程序就会被触发。

第四节深入分析数据。共有两个测量周期,分别从2020年4月到2020年5月,以及2021年6月到2021年8月,在177个国家中总计有约5800万份测量数据。当然,伊朗、中国、阿拉伯联合酋长国和沙特阿拉伯都位列前四。法国队以惊人的成绩排名第五。仔细观察,这很可能是地方性审查措施的实施,因为法国境内159个横幅点中有4个被触发。在查看HTTP审查时,约52%的审查者使用了区块页面,38%的人重置了连接,其余10%的审查则让连接时间延长。在 HTTPS 中,82% 的审查者破坏了该连接,16% 的用户超时,只有 2% 的人注入了恶意证书。

这个画面非常糟糕,绝对让人看清。

想法

这篇论文表明,中国的审查制度并非世界上最严苛的,但如果有人能用"严苛"一词击败伊朗,我会感到极为惊讶。我确实理解通过协议得出的不同审查方法,尽管我怀疑这份清单是否详尽无遗。

本周音乐

十六吨 - 约翰尼·卡什

女性主义 - 查佩尔·罗恩

Stuff is Messed Up东西乱七八糟——走下坡路

Te Han Prometido特汉·普罗梅迪多 - 利奥·丹

© 2024 杰克·穆林斯 • 主题月步行

~~~~~~~~~~~~~~~~~~~~~~~~~_END_~~~~~~~~~~~~~~~~~~~~~~~~~~~~~