隨着互聯網和智能移動設備不斷普及，二維碼（Quick Response code）已成爲世界上應用最爲廣泛的信息載體之一。一般的二維碼觀感並不好，帶有人眼無法識別的單調的黑/白編碼模塊。最近，二維碼的視覺美化在學界和業界興起了一波熱潮。如圖 1 所示，當前方法可分爲四類： i) 嵌入式 [1]–[5]，嵌入圖像以覆蓋二維碼中的附加位元； ii) 變形類型 [5]，改變二維碼模塊的形狀/顏色，比如把正方塊轉化爲圓形、三角形或星狀； iii) 手動型 [5]，來自手工設計和渲染； iv) 融合型 [6]–[12]，把圖像融合進二維碼。其中，融合型方法的視覺效果最好，也最爲吸引眼球。
圖 1：4 種美化二維碼的已有方法。
雖然已有的融合類型的方法可以提升二維碼的視覺品質，但仍存在如下幾個有待提升的方面：（1）多樣化和個性化，主流方法通過改變融合圖像來生成不同外觀的藝術二維碼，但實際上，用戶希望對獨特的融合圖像（例如 logo、個人照片或商標等）生成多樣化和個性化的藝術二維碼；（2）藝術品質，一方面，大多數的方法將「美」定義爲「和融合圖像更加相似」，即理想的結果是原始圖像不被藝術元素「反客爲主」。另一方面，已有的融合類型二維碼通常直接、機械地將圖像和黑/白編碼模塊相結合，導致編碼模塊外觀不可變動和單調乏味，即使用很漂亮的圖像融合也是這樣（如圖 4(a)-(d)）。（3）魯棒性，在不影響可讀性的前提下將藝術元素融合到二維碼並不容易，大多數已有方法缺乏錯誤校正機制來保證結果的魯棒性，從而導致二維碼被錯誤解碼。
圖 2：(a)(b) 本文介紹的方法能直接美化基線藝術二維碼，並生成藝術風格的二維碼。(c)(d) 如果用傳統的融合類型方法生成藝術風格結果，必須將美觀的圖像和黑/白編碼模塊相結合。但基本上，(c)(d) 的結果仍然被歸類爲基線藝術二維碼，雖然融合了藝術圖像，但仍然不是真正的藝術風格二維碼。和步驟 (c)(d) 相比，本文方法有兩個優點：（1）減少了生成步驟。（2）進一步將模塊和融合圖像統合爲一個風格，增強視覺吸引力（如圖 4(e)-(l)）。
解決這些問題而不犧牲其它特性是一項很大的挑戰。幸運的是，通過基於 CNN 的風格遷移網絡，我們找到了有效的解決方案。本文提出了一種自動化生成魯棒藝術風格二維碼的方法——SEE QR Code。對於問題（1），如圖 3 所示，我們的 SEE QR Code 是風格導向的藝術二維碼，用戶可以通過嵌入單張圖像生成多種藝術風格的二維碼。因此，用戶可以按照自己的偏好和需求進行個性化選擇。對於問題（2），我們的 SEE QR Code 應該被稱爲藝術品，而不僅僅是原始圖像的風格化；此外，該方法可直接風格化基線藝術二維碼（如圖 2(a)(b)），可同時爲編碼模塊和融合圖像賦予藝術元素，增強其視覺吸引力（如圖 4(e)-(l)）。對於問題（3），我們設計了一個錯誤校正機制以量化和平衡兩個競爭要素，即視覺品質和可讀性，從而得到魯棒的結果。
圖 3：一些 SEE 二維碼的實例，看起來就像是藝術品；並且用戶可根據單一的背景圖像生成不同藝術風格的美化圖像。
圖 4：(a)-(d) 傳統方法結果之中的編碼模塊（參見圖 2）。(e)-(l) 我們方法結果中的編碼模塊。可看到 SEE 二維碼中的編碼模塊同樣具有吸引人的藝術元素。
上述現有工作僅聚焦於二維碼美化的第一階段，即通過改變嵌入圖（參見圖 2(a)(d)）產生有美感的二維碼。相比之下，我們的方法主要美化基線審美的二維碼（參見圖 2(b)）。總結一下，我們的主要貢獻有：
我們提出了一種藝術風格審美的二維碼——SEE 二維碼，在以下方面表現優於現有方法：多樣性與個性化、美學品質和魯棒性。
我們設計了一種高效算法，可在基線藝術二維碼中設置模塊安排的優先性，從而最小化黑/白編碼模塊和融合圖像之間的視覺對比。
我們調整風格遷移網絡以適應把基線藝術二維碼作爲內容目標，這不僅有效避免了像噪音一樣的編碼模塊造成的視覺影響，還減少了由網絡引起的誤差模塊的數量。
我們提出了一種基於迭代更新的誤差修正機制，並通過平衡互相競爭的兩個要素：視覺質量和可讀性，來保證二維碼的魯棒性。
如下所示爲整個系統的架構，在 Stage A 中，我們結合圖片與編碼信息的二維碼而生成藝術二維碼。隨後再把需要遷移的風格與前面生成的藝術二維碼結合，並在 Stage C 中與抽出來的信息編碼做誤差修正而提升解碼魯棒性。
圖 6：方法概覽。共包括三步：Stage A：生成藝術二維碼； Stage B：風格遷移；Stage C：誤差修正。
後面將簡要介紹該系統的各個階段與實驗結果，因此我們需要了解表 1 所描述的符號意義：
Stage A：生成藝術二維碼
A. 方法概覽
如圖 6 所示，我們的方法共分爲三步：Stage A、Stage B 和 Stage C。在 Stage A 中，我們生成一個優化過的藝術二維碼 Q_a。在 Stage B 中，我們使用一個調整過的神經風格遷移網絡對 Q_a 進行風格化，並輸出非魯棒的藝術風格二維碼 Q_b。最後，在 Stage C 中，我們通過誤差修正機制修復 Q_b 的可讀性，獲得魯棒的結果 Q_c。以下將分別介紹這三個基本步驟。
圖 7：Stage A 的流程圖。我們根據融合圖像的灰度分佈設置可變模塊的優先級，以最小化融合圖像和類似噪點黑白模塊之間的視覺對比，並最終輸出基線藝術二維碼 Q_a。
二維碼基於 RS 糾錯碼的編碼規則，表達爲方形的編碼模塊。[13] 中證明我們可以使用 Gauss-Jordan 消去法在有限範圍內修改模塊的顏色（即黑色或白色），而無需考慮機器可讀性。主流研究（[7] [8] [10]）通常使用 [13] 中的方法，通過考慮融合圖像的局部視覺特徵（如顯著性圖、邊緣圖或感興趣區域）來選擇可變模塊。在 Stage A 中，我們提出一種高效策略來設置可變模塊的優先級，即根據混合圖像 I 的全局特徵進行選擇，並最終輸出基線藝術二維碼 Q_a，其最小化圖像 I 和類似噪點黑白模塊之間的視覺對比。
關於融合圖像 I^g 的灰度，每個像素的灰度值在 [0, 255] 區間內，黑白模塊的灰度值分別是恆定值 0 和 255。因此，我們認爲當模塊的顏色最接近圖像 I 中的對應區域時視覺對比度最小。也就是說，將圖像 I 中最黑／最白顏色的區域賦予高權重來對應黑白模塊，將大大優化 Q_a 的視覺感知度。基於此，我們將 Stage A 分爲計算權重矩陣和融合圖像兩個步驟。
Stage B：風格遷移
本論文使用的風格遷移架構如下圖 8 所示，我們大致 yan 用了由 J. Johnson[16] 等人提出的框架。對於風格遷移來說，我們輸入需要遷移風格的目標圖像 a_c 和風格圖像 a_s，而輸出的 a hat 應該組合 a_c 的內容和 a_s 的風格特徵。
圖 8：Stage B 的流程圖。我們大致遵循 [16] 所提出的風格遷移系統，並進一步調整了損失網絡 φ 的內容重構層和特徵，因而不再使用如同噪點那樣的黑白方塊來增強二維碼的風格與美學特徵。
在 Stage B 中，基線藝術二維碼 Q_a 有非常密集的黑白編碼模塊作爲需要遷移風格的內容，那麼這就要求我們解決兩個問題：1）爲了更強的魯棒性，所產生的錯誤模塊數需要最小化；2）爲了視覺質量，避免類似噪點的模塊帶來視覺影響是非常重要的。因此爲了解決這兩個問題，如下我們對內容重構層和風格重構層等網絡架構做了進一步的修改：
圖 9：與 L. A. Gatys[14] 和 J. Johnson[16] 等人提出的框架相似，我們從預訓練 VGG-16 損失網絡重構了風格特徵，以上分別表示 relu1_2、relu2_2、relu3_3 和 relu4_3 層的風格特徵重構結果。此外，我們發現低層的重構風格特徵與藝術二維碼的密集編碼模塊非常相似。
表 2：特徵重構層的調整。
Stage C：誤差修正
雖然我們在 Stage B 中顯著地優化了魯棒性弱的問題，然而，在 Q_b 中仍然存在少量誤差模塊（error-modules）。因此，在 Stage C，我們設計了一個誤差修正機制，通過平衡魯棒性和視覺品質來檢測和校正 Q_b 的誤差模塊，以生成魯棒的結果 Q_c。
B 編碼模塊的魯棒性評估
圖 10：（a）在採樣階段，收集的像素可能被不直接相關的因素（例如圖像縮放、傾斜角度等）影響而導致錯誤，而本質影響因素是編碼模塊的尺寸。（b）在閾值化階段，採樣的像素可能被不直接相關的因素（例如，光照、光色等）錯誤地閾值化，而本質影響因素是編碼模塊的顏色。
C 誤差修正機制
圖 11：Stage C 的流程圖。（a）迭代地檢測、校正非魯棒的模塊，並更新閾值，直到每個模塊都變得魯棒爲止。（b）通過創建編碼點預處理非魯棒的模塊。（c）轉換灰度魯棒藝術風格二維碼到 RGB 空間。
圖 12：（a）圖 11（b）的具體步驟，預處理 Q_b 中的非魯棒模塊，其中局部平均顏色通過一種簡單的方法當作 C_k 的顏色來計算。（b）修正一個灰度非魯棒編碼模塊的具體步驟。（c）未通過步驟（a）處理生成的 Q_c，即 Q_c 中的修正點可能有很嚴重的視覺失真。
圖 13：兩種定位器的一些實例。一個是由黑色和白色組成的標準定位器，另一個是在風格遷移和誤差修正之後的顏色定位器。
實驗
圖 14Q_a 和 TS（基於 [10] 中的 Two-Stage 生成結果）的實驗結果對比。我們的結果聚焦於背景圖像 I 的全局特徵，黑白編碼模塊儘量分配給圖像 I 中更深／更淺的區域，以最小化模塊和圖像 I 之間的視覺反差。
圖 17：最初風格遷移系統 [16] 與我們調整後的結果。在最初風格遷移的結果中，不規則的色彩變化通常發生在較大的區域中，這非常影響視覺且很容易導致解碼失敗。我們的調整顯著地改善了解碼魯棒性和視覺質量等問題。
表 4：不同移動設備上的二維碼掃描成功率。
論文：Stylize Aesthetic QR Code
論文鏈接：https://arxiv.org/pdf/1803.01146.pdf
摘要：隨着智能移動設備的持續發展，二維碼的使用越來越廣泛。現有研究試圖美化二維碼的外觀，並開發了一系列相關技術。但是，這些研究仍有很大改進空間，如視覺多樣性、美學質量、靈活性、通用性質和魯棒性。爲了解決這些問題，本論文提出了一種美化二維碼的新方法 SEE（Stylize aEsthEtic），只需三步即可自動生成魯棒的藝術風格二維碼。具體來說，第一步，我們提出一種方法來生成優化的基線藝術二維碼，減少噪聲類黑白模塊和融合圖像之間的視覺對比度。第二步，爲獲取藝術風格的二維碼，我們調整一個合適的神經風格遷移網絡，給基線藝術二維碼增加一些抽象化的藝術元素。第三步，我們設計了一種誤差修正機制，通過平衡兩種這兩種存在競爭的元素：視覺質量和可讀性，以確保性能的魯棒性。大量實驗證明 SEE 二維碼在外觀和魯棒性方面都保持高質量，同時使用戶擁有更多個性化選擇。