自變量x開n次方余弦函數(shù)不定積分法教你用神經(jīng)網(wǎng)絡(luò)解高等數(shù)學方程！
作者：弗朗索瓦查頓，紀堯姆蘭普爾，
翻譯：馮玉
校對：吳金娣
這篇文章是關(guān)于2650字,的，我建議閱讀10分鐘.
介紹了一種利用深度學習中的神經(jīng)機器翻譯(NMT)技術(shù)求解方程問題的方法和系統(tǒng)。該系統(tǒng)在更廣泛的領(lǐng)域展示了深度學習的潛力。
標簽:神經(jīng)網(wǎng)絡(luò)
臉書人工智能建立了第一個可以使用符號推理來解決高級數(shù)學方程的人工智能系統(tǒng)。通過開發(fā)一種新的方法來將復(fù)雜的數(shù)學表達式表達為語言，然后將解決方案視為序列到序列的神經(jīng)網(wǎng)絡(luò)翻譯問題，我們構(gòu)建了一個在解決積分問題和一階和二階微分方程方面優(yōu)于傳統(tǒng)計算系統(tǒng)的系統(tǒng)。
此前，這類問題被認為是深度學習模型無法解決的，因為求解復(fù)雜方程需要的是精度而不是近似。神經(jīng)網(wǎng)絡(luò)擅長通過近似來獲得成功，例如，識別特定模式的像素很可能是一只狗的圖片，或者一種語言的句子特征與另一種語言的句子特征相匹配。解復(fù)雜方程還需要處理符號數(shù)據(jù)的能力，比如方程b-4ac=7中的字母。這樣的變量可以& amp#039;不能直接相加、相乘或相除。僅通過使用傳統(tǒng)的模式匹配或統(tǒng)計分析，神經(jīng)網(wǎng)絡(luò)局限于極其簡單的數(shù)學問題。
我們的解決方案是一種全新的方法，可以把復(fù)雜的方程當作語言中的句子來處理。這使我們能夠充分利用已被證明在神經(jīng)機器翻譯(NMT)中有效的技術(shù)，并通過訓(xùn)練模型將問題轉(zhuǎn)化為解決方案。為了實現(xiàn)這種方法，需要開發(fā)一種方法，將現(xiàn)有的數(shù)學表達式分解成相似的語言語法，并生成超過100M配對方程和解的大規(guī)模訓(xùn)練數(shù)據(jù)集。
當有成千上萬個未知表達式時(這些方程不是訓(xùn)練數(shù)據(jù)的一部分)，我們的模型比傳統(tǒng)的代數(shù)方程求解軟件，如Maple、Mathematica和Matlab，表現(xiàn)出更快的速度和更高的精度。這項工作不僅表明深度學習可以用于符號推理，還表明神經(jīng)網(wǎng)絡(luò)具有解決各種任務(wù)的潛力，包括與模式識別無關(guān)的任務(wù)。我們將分享我們的方法和生成相似訓(xùn)練集的方法的細節(jié)。
擅長符號數(shù)學的人往往依靠一種直覺。他們對給定問題的解應(yīng)該是什么有一種感覺，比如觀察積分函數(shù)中是否有余弦，這意味著它的積分中可能有正弦，然后做必要的工作來證明這種直覺。這和代數(shù)要求的直接計算不同。通過訓(xùn)練模型來檢測符號方程中的模式，我們認為神經(jīng)網(wǎng)絡(luò)可以拼湊出導(dǎo)致其解決方案的線索，這大致類似于人類對復(fù)雜問題的直覺方法。因此，我們開始探索作為NMT問題的符號推理。在該模型中，模型可以根據(jù)問題實例及其匹配解預(yù)測可能的解。
作為一個例子，我們的方法將展示如何將左邊的現(xiàn)有等式擴展到表達式樹，該表達式樹可以用作翻譯模型的輸入。對于這個方程，模型的前序輸入為：(加，乘，3，冪，x，2，減，余弦，乘，2，x，1)。
為了使用神經(jīng)網(wǎng)絡(luò)實現(xiàn)這一應(yīng)用，我們需要一種新穎的方式來表達數(shù)學表達式。NMT系統(tǒng)通常是序列到序列(seq2seq)模型，使用單詞序列作為輸入，輸出新的序列，從而允許它們翻譯完整的句子，而不是單個單詞。我們使用兩步法將這種方法應(yīng)用于符號方程。首先，我們開發(fā)了一個過程來有效地分解方程，并將分解的方程排列在樹結(jié)構(gòu)的分支中，然后將樹結(jié)構(gòu)擴展為與seq2seq模型兼容的序列。常數(shù)和變量充當樹葉，而運算符(如加號和減號)和函數(shù)是連接樹的分支的內(nèi)部節(jié)點。
雖然它看起來可能不像傳統(tǒng)的語言，但以這種方式組織表達式可以為方程提供類似語言的語法，其中數(shù)字和變量是名詞，運算符充當動詞。我們的方法使NMT模型能夠?qū)W習將給定的樹結(jié)構(gòu)問題的模式與其匹配方程(也表示為樹)的解對齊，這類似于將語言的句子與確認的翻譯進行匹配。這種方法使我們能夠使用強大的現(xiàn)成的seq2seq NMT模型來用符號序列替換單詞序列。
一種應(yīng)用NMT的新方法
雖然我們的expression ——樹語法使得NMT模型在理論上可以有效地將復(fù)雜的數(shù)學問題轉(zhuǎn)化為方程的解，但是訓(xùn)練這樣的模型將需要大量的例子。而且因為我們關(guān)注的兩類問題(積分和微分方程)，隨機產(chǎn)生的問題并不總是有解的，所以我們可以& amp#039;不要簡單地收集方程式并輸入系統(tǒng)。我們需要生成一個全新的訓(xùn)練集，包括作為模型可讀表達式樹重建的求解方程的例子。這產(chǎn)生了一組二進制方程和解，類似于在語言之間翻譯的句子語料庫。我們的收集也必須比該領(lǐng)域以前的研究中使用的訓(xùn)練數(shù)據(jù)大得多，這些研究試圖系統(tǒng)地訓(xùn)練成千上萬個例子。由于神經(jīng)網(wǎng)絡(luò)只有在擁有更多訓(xùn)練數(shù)據(jù)時才會表現(xiàn)得更好，因此我們創(chuàng)建了一個包含數(shù)百萬個示例的集合。建立這個數(shù)據(jù)集需要我們整合一系列的數(shù)據(jù)清洗和生成技術(shù)。比如我們的符號積分方程，我們把翻譯方法反過來了：不是生成問題，求其解，而是生成解，求其問題(其導(dǎo)數(shù))，這是一件容易得多的事情。這種從解決方案中產(chǎn)生問題的方法(有時被工程師稱為陷阱問題)使得創(chuàng)建數(shù)百萬個整數(shù)示例變得可行。我們的翻譯啟發(fā)數(shù)據(jù)集包括大約1億個成對的例子，包括積分問題和一階和二階微分方程的子集。
我們使用這個數(shù)據(jù)集來訓(xùn)練seq2seq transformer模型，該模型具有8個注意頭和6個層。t
ransformer通常用于翻譯任務(wù)，而我們的網(wǎng)絡(luò)旨在預(yù)測各種方程的解，例如確定給定函數(shù)的不定積分。為了評估模型的性能，我們向模型提供了5000種未知表達式，使系統(tǒng)識別出訓(xùn)練中未出現(xiàn)的方程模式。我們的模型在求解積分問題時顯示出99.7％的準確度，對于一階和二階微分方程，它們的準確度分別為94％和81.2％。這些結(jié)果超出了我們測試的所有三個傳統(tǒng)方程求解器的結(jié)果。Mathematica取得了次佳的結(jié)果，在相同的積分問題上準確度為84％，對于微分方程結(jié)果的準確度為77.2％和61.6％。我們的模型還可以在不到0.5秒的時間內(nèi)返回大多數(shù)預(yù)測，而其他系統(tǒng)則需要幾分鐘來找到解決方案，有時甚至會完全超時。我們的模型將左側(cè)的方程式（Mathematica和Matlab都無法求解的方程式）作為輸入，并且能夠在不到一秒鐘的時間內(nèi)找到正確的解決方案（如上圖所示）。
將生成的解決方案與參考解決方案進行比較，使我們能夠輕松，準確地驗證結(jié)果。但是我們的模型也為給定方程生成了多個解。這類似于機器翻譯中發(fā)生的事情，在機器翻譯中，有很多翻譯輸入句子的方法。
AI方程求解器的下一步是什么
目前，我們的模型適用于單變量問題，我們計劃將其擴展為多變量方程。這種方法還可以應(yīng)用于其他基于數(shù)學和邏輯的領(lǐng)域，例如物理領(lǐng)域，從而有可能開發(fā)出可幫助科學家進行廣泛工作的軟件。
但是我們的系統(tǒng)對于神經(jīng)網(wǎng)絡(luò)的研究和使用具有更廣泛的意義。通過在以前認為不可行的地方發(fā)現(xiàn)一種使用深度學習的方法，這項工作表明其他任務(wù)可以從人工智能中受益。無論是通過將NLP技術(shù)進一步應(yīng)用到傳統(tǒng)上與語言沒有關(guān)聯(lián)的領(lǐng)域，還是通過在新的或看似無關(guān)的任務(wù)中對模式識別進行更開放的探索，神經(jīng)網(wǎng)絡(luò)的局限性可能來自想象力的局限，而不是技術(shù)。
撰寫者
弗朗索瓦·沙頓 Facebook AI客座企業(yè)家
紀堯姆·蘭普爾 Facebook AI研究科學家
原文
Using neural networks to solve advanced mathematics equations
原文鏈接：
https://ai.facebook.com/blog/using-neural-networks-to-solve-advanced-mathematics-equations/
編輯：于騰凱
校對：林亦霖
譯者簡介
馮羽，算法工程師。負責設(shè)計個人或企業(yè)信用風險評估算法、市場風險評估算法、仿真優(yōu)化算法等。數(shù)據(jù)派志愿者。
—完—
關(guān)注清華-青島數(shù)據(jù)科學研究院官方微信公眾平臺“ AI數(shù)據(jù)派 ”及姊妹號“ 數(shù)據(jù)派THU ”獲取更多講座福利及優(yōu)質(zhì)內(nèi)容。
神經(jīng)網(wǎng)絡(luò)求解三維對流方程 神經(jīng)網(wǎng)絡(luò)解線性方程組
