Python開發(fā)者在遷移到Go前需要知道的事情

從 Python 遷移到 Go 的提示與技巧

背景

我們在 Repustate 技術上最大的成果就是實現(xiàn)了阿拉伯語情感分析。阿拉伯語真是一個難啃的骨頭，它的單詞語法形態(tài)太復雜了。阿拉伯語的分詞（tokenization，把一個句子分成獨立的詞語）相比諸如英語更難，因為阿拉伯語單詞內(nèi)部可能包含空格（例如，aleph內(nèi)的位置）。這個不需要保密，那就是 Repustate 使用了支持向量機（SVM）來得到句子最可能的意思，然后在此基礎上分析情感。我們總共用了 22 個模型（22 個支持向量機），文檔中的每個單詞都會被分析。也就是說，如果一篇文檔包含 500 詞的話，將會有一萬次以上的支持向量機的比較操作。

Python

Repustate幾乎是徹底用 Python 實現(xiàn)的，因為我們使用了 Django 作為應用程序接口和網(wǎng)站架構。所以只能保持代碼的統(tǒng)一，同時用 Python 實現(xiàn)整個阿拉伯語情感引擎。原型與實現(xiàn)的過程中，Python 還是很不錯的。非常強的表達能力，強大的第三方庫資源。如果你只是服務于網(wǎng)頁的話，還是很完美的。但是，當你需要進行底層計算，需要在散列表（Python 中的字典）上進行大量的比較運算的時候，速度就慢下來了。我們每秒鐘只能處理2到3篇阿拉伯語文檔，這太慢了。對比我們的英語情感引擎，每秒鐘能處理 500 篇文檔。

瓶頸

于是，我們啟動了 Python 分析器，研究哪部分執(zhí)行得慢。還記得我說過我們會用 22 個支持向量機處理每一個單詞嗎？這些處理都是串行的，沒有并行操作。好，我們第一個想法是把這個改成類似 map/reduce 的操作。長話短說：Python 中不適合使用 map/reduce。當你需要并發(fā)性的時候，Python 一點都不好用。2013 年的 PyCon 大會上，Guido 提到了 Tulip，他試圖解決這個問題的新項目，但是還需要一段時間才能推出。如果已經(jīng)有更好的選擇，我們?yōu)槭裁催€要等它呢。

換 Go 語言還是回家種田

我在 Mozilla 的朋友告訴我，Mazilla 服務中日志架構的大部分代碼已經(jīng)切換成 Go 了，部分原因是 goroutine（Go 線程）的強大。Go 是 Google 的一群人設計的，它把并行性作為一級概念，而不像 Python 的不同解決方案做的事后補充。于是，我們開始著手把 Python 換成 Go。

盡管 Go 代碼還沒達到產(chǎn)品級別，其結(jié)果已經(jīng)非常令人鼓舞了。我們達到了每秒 1000 文檔的速度，使用了更少的內(nèi)存，還不用去處理用 Python 時碰到的多進程/gevent/“為什么 Ctrl+C 殺掉了我的進程”代碼等討厭的問題。

我們?yōu)槭裁磹凵狭薌o

只要知道一點兒編程語言工作原理的人，（明白解釋和編譯以及動態(tài)與靜態(tài)的區(qū)別），就會說：“老兄，Go 顯然會更快”。沒錯，我們也可以把整個東西用 Java 來重寫，并且得到類似的性能，但這不是 Go 勝出的原因。你用 Go 寫出代碼來就很容易是正確的。我也說不清楚怎么回事，但是一旦代碼編譯通過（編譯速度還很快），你就感覺到它可以工作了（不只是運行不提示錯誤，而是邏輯上就是對的）。我知道這聽起來很玄乎，但確實是事實。這就像 Python 解決冗余問題（或者說無冗余），它把函數(shù)作為一級對象，從而函數(shù)編程可以輕松的進行。go線程和通道（channel）讓你的生活如此輕松。你還可以得到靜態(tài)類型帶來的性能提升，更精確的控制內(nèi)存分配，卻不會因此損失表達性。

我們早該知道的事情

除去那些贊美之詞，用 Go 的時候需要一種不同于用 Python 時的心態(tài)。下面是一些遷移時候的筆記，把 Python 轉(zhuǎn)成 Go 時隨機躍入我腦子的東西：

沒有內(nèi)建的集合類型（需要使用 map 然后檢查存在性）

由于沒有集合類型，需要自己實現(xiàn)交集、并集等方法

沒有元組（tuple），需要設計自己的結(jié)構（struct）或者使用slice（類似數(shù)組）

沒有類似 __getattr_() 的方法，需要你檢查存在性而不能設置缺省值，例如 Python 中，你可以這么寫：value = dict.get("a_key", "default_value")

需要檢查錯誤（或者至少顯式的忽略它們）

不能夠有未使用的變量和包，需要時不時的注釋掉一些代碼

在 []byte 和 string 之間切換，正則處理（regexp）使用 []byte（可改寫的）。這是對的，但轉(zhuǎn)換來轉(zhuǎn)換去還是很麻煩

Python 語法更寬松。你可以用超出范圍的索引取字符串的片段而不出錯，也可以使用負數(shù)取片段。Go 就不行。

無法使用混合類型的數(shù)據(jù)結(jié)構。這可能不一定合適，但是 Python 中有時候我會有一個取值可以是字符串和列表混合的字典。Go 里不行，你必須清理里的數(shù)據(jù)結(jié)構或者自定義結(jié)構*

沒法把元組或者列表分配成分開的變量（例如，x, y, x = [1, 2, 3]）

駝峰式大小寫習慣（首字母不大寫的函數(shù)/結(jié)構不會暴露給其他包）。我更喜歡 Python 的小寫加下劃線的習慣。

必須顯式的檢查錯誤是否為空，不像 Python 中很多類型都可以像布爾類型一樣的用（0，空串，None都可以作為布爾“假”）

一些模塊（如 crypo/md5）的文檔不足，但是 IRC 上的 go-nutes 很厲害，有強大的支持

數(shù)字轉(zhuǎn)字符串（int64->string）與 []byte 轉(zhuǎn)字符串（只要 string([]byte)）不同，需要調(diào)用 strconv

讀 Go 的代碼絕對像是編程語言，而 Python 可以寫成像是偽代碼一樣。Go 使用更多的非英文數(shù)字字符，使用 || 和 && 而不是 or 和 and。

寫文件會有 File.Write([]byte) 和 File.WriteString(string)，與 Python 開發(fā)者的一種辦法解決問題的信條不一致。

字符串插入不好用，必須經(jīng)常使用 fmt.Sprintf

沒有構造函數(shù)，通常的習慣是寫一個 NewType() 函數(shù)返回你要的結(jié)構

Else（或者 else if）得正確的格式化，else 得和與 if 配對的大括號在一行。奇怪。

函數(shù)內(nèi)外使用不同的賦值操作符，= 和 := （譯者注：此為作者的誤解，= 和 := 的區(qū)別是顯式定義類型還是自動類型推導，而函數(shù)外的變量只能用 =）

如果我只想要鍵值（dict.keys()）或取值（dict.values()）的列表，或者元組的列表（dict.items()），Go 中沒有對應的函數(shù)，只能自己迭代

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com