李宏毅深度学习与人类语言处理-introduction

**深度学习与人类语言处理（Deep learning for Human Language Processing）** 李宏毅老师深度学习与人类语言处理课程笔记，请看正文 ----- ### 这门课会学到什么？  - 为什么叫人类语言处理呢？ 现在大家熟知的基本都是自然语言处理，那什么是自然语言呢？ >在自然中发展出来的用于沟通的语言（例如中文、英文） 自然语言相反的是人造语言：例如编程（Java、python） 人类的自然语言分为两种形态：语音、文字  所以这门课叫**深度学习与人类语言处理** 大多数自然语言处理课程中语音处理只占了一小部分，是因为语音处理不重要吗？  **世界上只有56%的语言可以被写出来**，例如闽南语、台语，但不是每个说闽南语的人都会写。文字的书写系统是被创造出来的。所以很多语言机器无法通过文字理解，所以这门课程会用一半的时间讲述语音处理。 - 人类语言有多复杂  一秒钟的声音信号含有16K个采样点，每个采样点有256个可能的值。 > 古希腊哲学家赫拉克利特说过 "No man ever steps in the same river twice, for it's not the same river and he's not the same man." **没有人可以说同一段话两次**，每次的声音信号都不一样  那么文本有多复杂？ 有记录的最长英文的句子有13955个词（2014，吉尼斯世界纪录） 然而，，，下一秒吉尼斯世界记录就被破了，xx写“ ”；xx说xx写了“..."  - 一张图告诉你本次课程内容  **Model是什么？**  **硬Train一发**是一种信念，是一种梦想，是一种浪漫，是人类亘古以来原始的冲动，总之，没办法一句话解释清楚。 ### 人类语言处理的下一步 2014年seq2seq模型横空出世，可以解决大多数人类语言相关的问题，在拥有目前为止最强武器Deep learning的情况下，人类自然语言处理的下一步在哪里？ 这门课程将会关注近三年来的研究，再有了*硬train一发*后，接下来还有什么技术？ - 语音到文本（语音识别）  传统语音识别，由多个模块构成，组合起来模型很大，2个G  那如果使用端到端的深度学习呢？google的模型只有80M 语音上的seq2seq模型并**不是大家所熟知的基于Attention的seq2seq模型**，我们会揭开语音seq2seq模型的神秘面纱，看看不同领域的seq2seq模型有什么区别 - 文本到语音（语音合成）  语音合成是怎么做的？训练一个神经网络，输入是文字，输出是语音，然后就没有然后了。。。  > Tokuda"每次我开除一个语言学家，语音识别的性能就会提升一点。" **所有的问题都被神经网络解决了吗？** google小姐发生过破音！在输入多个字是正常发音，输入单字时破音了，有想去的可以去看看 ：https://www.youtube.com/watch?v=EwbTlnUkctM - 语音到语音  语音到语音什么用呢？ **1.语音分离**（speech separation) 人类可以从不同说话者中辨别说话人，专注于想要听的说话人；机器可以吗？现在用NN已经可以做到了，仅仅硬train一发 **2.声音转化**（voice convesion）  让A和B说同一句话，采集很多样本，使用NN*硬Train一发*就可以了，但是如何想要把我的声音转化成新垣结衣的声音，就不行了，因为我不能把新垣结衣找来，新垣结衣不会说中文啊。所以我们希望的声音转化系统只听过A的声音，B的声音，不一定要念一样的句子，机器也可以把A声音转化为B声音 - 语音到类别  可以用在说话人识别、语音唤醒  需要说出指定唤醒词才可以唤醒它们，但是机器需要不断的收集声音，直到听见唤醒词，所以模型需要尽量小，降低功耗。 - 输入是文本  Bert一脚踢翻了玛利亚之墙  模型越来越大。。。  - 输出是文字 **文本生成**(Text Generation) Autoregressive： $$ I \rightarrow have \rightarrow a \rightarrow dream $$ 句子一定要按顺序生成吗？ Non-autoregressive :  - 输入输出都是文字  机器翻译、文本摘要、聊天机器人、问答系统  直觉上不是文本到文本问题也可以被转化成文本到文本，例如句法分析(systactic parsing)，可以把句法分析树变成文本  这次课程聚焦于问答系统，其他的应用使用的方法都是大同小异。 ### 更多内容 - 元学习 - 参考图像风格转化 - 知识图谱 - 对抗攻击 - 可解释AI  以上就是本次课程涉及的所有内容 >语音和文本相爱想杀的故事 reference： 李宏毅老湿. http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html