雷鋒網(wǎng)AI科技評論按：隨著強化學習在機器人和游戲 AI 等領域的成功，該方法也引起了越來越多的關注。在近期雷鋒網(wǎng)GAIR大講堂上，來自清華大學計算機系的博士生馮珺，為大家介紹了如何利用強化學習技術，更好地解決自然語言處理中的兩個經(jīng)典任務：關系抽取和文本分類。 本文根據(jù)視頻直播分享整理而成，內容若有疏漏，以原視頻嘉賓所講為準。

視頻回放地址：http://www.mooc.ai/open/course/318

在關系抽取任務中，嘗試利用強化學習，解決遠程監(jiān)督方法自動生成的訓練數(shù)據(jù)中的噪音問題。在文本分類任務中，利用強化學習得到更好的句子的結構化表示，并利用該表示得到了更好的文本分類效果。本次分享的兩個工作均發(fā)表于 AAAI2024。

馮珺，清華大學計算機系博士五年級，師從朱小燕和黃民烈教授，主要研究方向為知識圖譜，強化學習。目前已在 AAAI，COLING，WSDM 等國際會議上發(fā)表多篇文章。

分享內容：

大家好，我是來自清華大學的馮珺，分享的主題是當強化學習遇見自然語言處理，分享內容主要是以下三方面：

強化學習基本概念簡要介紹基于強化學習的關系抽取方法，解決遠程監(jiān)督方法自動生成的訓練數(shù)據(jù)中的噪音問題基于強化學習的句子結構化表示學習方法

強化學習的基本概念

狀態(tài)，是agent從環(huán)境中得到的動作；agent，是基于它得到的當前狀態(tài)后做出相應的動作。reward ，是環(huán)境給agent 的一個反饋，收到這個reward就知道做的這個動作是好還是不好。agent 的目標就是選動作，將全部reward最大化。

agent會和環(huán)境做很多的交互，環(huán)境每次做的動作可能會有一個長期的影響，而不僅僅是影響當前的reward。reward 也有可能延遲。在這里簡單介紹一下policy的概念。policy是決定一個agent的動作的一個函數(shù)。

如果讀者對上述概念還不清楚可以觀看視頻中的迷宮例子：http://www.mooc.ai/open/course/318

我們組做的兩個工作是關系抽取和文本分類。

首先是第一個工作：利用增強學習從噪聲數(shù)據(jù)中進行關系抽取 （Reinforcement Learning for Relation Classification from Noisy Data）

任務背景

關系分類任務需要做的是，判斷實體之間是什么關系，句子中包含的實體對兒是已知的。關系分類任務是強監(jiān)督學習，需要人工對每一句話都做標注，因此之前的數(shù)據(jù)集比較小。

之前也有人提出Distant Supervision 方法，希望能利用已有資源對句子自動打上標簽，使得得到更大的數(shù)據(jù)集。但這種方法是基于已有知識圖譜中的實體關系來對一句話的實體關系進行預測，它的標注未必正確。

這篇文章就是用強化學習來解決這個問題。之前也有一些方法是基于multi-instance learning 的方法來做的。

這樣做的局現(xiàn)性是不能很好處理句級預測。

基于以上不足，我們設定了新模型。包括兩個部分: Instance Selector 和 Relation Calssifier。

這個模型有兩個挑戰(zhàn)，第一是不知道每句話的標注是否正確‘；第二個挑戰(zhàn)是怎么將兩個部分合到一塊 ，讓它們互相影響。

Instance Selector 和 Relation Calssifier 的結構圖

在Instance Selector中的“狀態(tài)”就表示為，當前的句子是哪一句，之前選了哪些句子，以及當前句子包含的實體對兒。

Relation Classifier 是直接用了一個CNN的結構得到句子的表示。

模型訓練步驟

實驗部分關于數(shù)據(jù)集和baseline來源

總結

我們提到一個新的模型，在有噪聲的情況下也能句子級別的關系分類，而不僅僅是bags級別的關系預測。

第二個任務

任務背景

如果做一個句子分類，首先要給句子做一個表示 ，經(jīng)過sentence representation得到句子表示，把“表示”輸入分類器中，最終就會得到這個句子屬于哪一類。

傳統(tǒng)的sentence representation 有以下幾個經(jīng)典模型：

bag-of-wordsCNNRNN加入注意力機制的方法

以上幾種方法有一個共同的不足之處，完全沒有考慮句子的結構信息。所有就有第五種 tree-structured LSTM。

不過這種方法也有一定的不足，雖然用到了結構信息，但是用到的是需要預處理才能得到的語法樹結構。并且在不同的任務中可能都是同樣的結構，因為語法都是一樣的。

所以我們希望能夠學到和任務相關的結構，并且基于學到的結構給句子做表示，從而希望能得到更好的分類結構。但面臨的挑戰(zhàn)是我們并不知道什么樣的結構對于這個任務是好的，我們并沒有一個結構標注能夠指導我們去學這個結構。但我們可以根據(jù)新的結構做出的分類結果好不好從而判斷這個結構好不好。

這個任務同樣可以建模為強化學習問題，用強化學習的思想來解。同樣的，在這個任務中的reward也是有延遲的，因為需要把整個結構都學到后，才能得到句子的表示，才能用句子的表示做分類，中間的過程是不知道這個結構是好的還是不好的。

實驗部分的數(shù)據(jù)集來源

實驗的分類結果；最后兩行是我們的方法。

總結

在這個工作中，我們學習了跟任務相關的句子結構，基于句子機構得到了不同的句子表示，并且得到個更好的文本分類方法。我們提出兩種不同的表示方法，ID-LSTM和HS-LSTM。這兩個表示也得到了很好的分類結果，得到了非常有意思的和任務相關的表示 。

雷鋒網(wǎng)提供視頻直播回放，如果對文中有不清楚的地方，可點擊觀看視頻 ：http://www.mooc.ai/open/course/318。

中南大學和清華大學，哪個比較好

你還不如死了算了，活在世上浪費糧食

清華大學和北京大學哪個好

其實各有優(yōu)勢，北大文、理都排全國第一，清華工科第一。但是因為如今的科技引領世界發(fā)展，使得易拿經(jīng)費的工科清華發(fā)展進步很快。在學習上，北大學生保持學霸的狀態(tài)下更加喜歡蔡元培先生的主張，并且對隔壁的書呆子做法比較不屑，了。而清華作為當年的旅美學校發(fā)展而來，自然對于出國是情有獨鐘的，并且留在國外的也絕對冠絕全國。在對全國高精尖人才的培養(yǎng)上，兩者各有風格，也往往比較好的互補。只要能去上，有能力去讀，那都是夠牛逼的。出人頭地的方式很多種，但是這兩個學校的概率和比例要高出很多。

有哪些好句子

【第1句】：某天，你無端想起一個人，她曾讓你對明天有所期許，但是卻完全沒有出現(xiàn)在你的明天里。

【第2句】：我淋過最大的一場雨，是那天你在烈日下的不回頭。【第3句】：如果你真的非常喜歡過一個人，就會知道，要真心祝福她跟別人永遠幸福快樂，根本是不可能的事。

【第4句】：少年時代的歲月，即使擁有相同的過去，記憶最深的細節(jié)也會出現(xiàn)趣味性差異，那就是7屬于每個人的，不會重復的時光。

【第5句】：“人生總是那么痛苦嗎？還是只有小時候是這樣？”

“總是如此。”

【第6句】：一直以為我跟他不一樣，原來寂寞的時候，所有的人都一樣。

【第7句】：其實愛情是有時間性的認識太早或太晚都是不行的，如果我在另一個時間或空間認識她，這個結局也許會不一樣。【第8句】：我想成為一個溫柔的人，因為曾被溫柔的人那樣對待，深深了解那種被溫柔相待的感覺。

【第9句】：我也喜歡，當年喜歡著你的我。那時候的我，簡直無時無刻都在發(fā)光呢。

有哪些好句子

和你分享一下我珍藏的七月手寫版、詩意與美感富集的好句子，希望您有時間能夠靜下心來細細品味。

【第1句】：我有一碗酒，可以慰風塵。

【第2句】：愿你的眼中總有光芒，活成你想要的樣子。

【第3句】：我渴望一生被人收藏好，妥善安放，細心保存。免我驚，免我苦，免我四處流浪，免我無枝可依。

【第4句】：行走在路上，與所有人微笑，卻只想與你相遇。

【第5句】：時間也需要沒用的東西，如果一切事物都必須有其意義，會讓人喘不過氣來。

【第6句】：穿山越海，哼你的歌，踏浪飄帆，忘記你，更忘記我。

【第7句】：有人信你，有人陪你，有人等你。

【第8句】：苦非苦，樂非樂，只是一時執(zhí)念罷了。執(zhí)于一念，將受困于一念，一念放下，會自在于心間。

【第9句】：容我做個長夢，醒來黃歷堆成山，張張都是萬事大吉。

【第10句】：你最可愛，我說時來不及思索，但思索之后，還是這樣說。

【第11句】：可遇不可求的事，后海有樹的院子，夏代有工的玉，此時此刻的云，二十來歲的你。

【第12句】：我沒有生來勇敢，天賦過人，面對人山人海，只剩一些誠懇。

【第13句】：我選擇一條不那么好走的路，是因為想著路上會遇到你。

【第14句】：有些時候，失去才是平常，而得到只是幸運。

【第15句】：你知道我想說什么嗎？你只知道我說了什么。

【第16句】：我的心事蒸發(fā)成云在下雨，卻舍不得淋濕你。【第17句】：走過多少辜負，雨打芭蕉哭成狗，總有一個終點，滿處花開是人間。

【第18句】：我們都需要一個，愿意陪你的人，不需要那么多承諾，給一個適時的擁抱，噓聲后安靜地與你走完一生的人。

【第19句】：與君初相識，猶如故人歸。

【第20句】：余生很長，你一定要來。

圖片來源于網(wǎng)絡。

清華大學附近怎么逛比較好

我被冰清這個老娘們兒限制不能發(fā)言了，可能它怕我了，讓我來介紹一下，它在美國原來是賣有機食品起步的，聚了人氣后改賣轉基因，大家都知道美國是嚴謹轉基因當主食的，一個已經(jīng)是美國人的它天天嚷著讓國人吃轉基因，無非是轉基因集團給它的豐厚報酬，而且它仇視中國人。知道它底細的人都知道。與方肘子及他的老婆懷疑探索者、司馬夾頭等沆瀣一氣，為利益出賣良知，是標準的漢奸賣國賊。

清華大學好還是復旦大學好？為什么

清華大學好，還是復旦大學好？哪一個瘋人院逃出的家伙在此發(fā)問？此外此人還提問了武大、浙大、南大等校，這是貶低清華抬高他校還是挖苦他校呢？用心險惡！

認為復旦可以與清華齊名者，只能是以復旦的局部優(yōu)勢，以偏概全地看待問題！

清華好，不是一切都好，不是所有獲獎都是第一，不是所有學科都是A+！

如果以某校的A檔、B檔學科，與清華的C檔學科作比較，全國有多少9【第85句】：211超過清華？單獨地比眉毛、鼻子、嘴巴，有些丑女未必沒有勝處，她們是美女嗎？

不說比學校的某一方面，籠統(tǒng)地比學校，不比綜合實力比什么？清華北大屬于第一檔，華五屬于第二檔，這是不爭的事實，不容否認！

至于有些上海人不喜歡清畢，喜歡復旦，也許是清華的某專業(yè)比不上復旦，并非是學校的整體實力清華在復旦之下！難道清華在上海的招生分數(shù)線比復旦還要低嗎？怎能自圓其說？

還有些上海人看全國，都是農(nóng)村，能說明什么呢？上海好幾所高校都不錯，但在外地招生人數(shù)很少，分數(shù)線自然高！

如果把清復看作同一檔次，那么其它學校就有理由看成和復旦同一檔次，至少華五各校與清華同一檔次了，怪不得此搞笑的提問者一下子用好幾個學校與清華相比呢！原來他們有同樣的思維！

清華大學的本科生比研究生好嗎

肯定好啊，研究生都是本科生淘汰下去的學渣，怎么可能和本科生比。

清華大學好還是浙江大學好

無論是從國內的名氣還是從世界上排名來看，肯定都是清華大學比較好一些。按照2024年QS世界大學排名來看，清華大學排名全球17名，而浙江大學排名僅是87名，二者相差還是比較大的。并且在國內大部分人對清華大學的認可度還是高于浙江大學的，當然也存在部分人認為浙江大學比較好。

從我個人的看法來說，學校沒有絕對的好，也沒有絕對不行的學校，主要還是要看專業(yè)。并且一個學校的發(fā)展靠的是教育資金的投入，清華大學的經(jīng)費還是高于浙江大學的，當然浙江大學也是很不錯的一所重點大學。

就拿第四輪學科評估來說吧，清華大學共有21個學科評為A+檔，8個學科評為A檔，8個學科評為A-檔。浙江大學11個學科評為A+檔，11個學科評為A檔，17個學科評為A-檔。整體來看還是清華大學高層次的學科要多一些！

歡迎關注：考研在大學

您的關注、點贊就是對我最大的鼓勵和支持！

你收藏過哪些經(jīng)典的好句子

【第1句】：欲望以提升熱忱，毅力以磨平高山。

【第2句】：拿望遠鏡看別人，拿放大鏡看自己。

【第3句】：把你的臉迎向陽光，那就不會有陰影。

【第4句】：明天的希望，讓我們忘了今天的痛苦。

【第5句】：人的價值，在遭受誘惑的一瞬間被決定 。

【第6句】：世上最累人的事，莫過於虛偽的過日子 。

【第7句】：留著一個號碼，不過是為了守候—個人。

【第8句】：生活不是電影，不會有那么多的不期而遇。

【第9句】：愚者用肉體監(jiān)視心靈，智者用心靈監(jiān)視肉體。

【第10句】：再美好也經(jīng)不住遺忘 ，再悲傷也抵不過時間。