現代光譜分析中的化學計量學方法（簡體書）

近年來，隨著人工智能、大數據和云計算等科技的飛速發展，用於光譜分析的新型化學計量學方法如雨後春筍般涌現出來，成為光譜分析技術中發展最為迅速的分支之一，是國內外本領域專家學者重點和熱點的研究方向。本書主要論述用於光譜分析的化學計量學方法，包括光譜預處理算法、變量選擇算法、數據降維算法、線性和非線性多元定量校正算法、模式識別算法、校正樣本選擇算法、界外樣本識別算法、模型更新與維護算法、多光譜融合算法、模型傳遞算法和深度學習算法等。本書在保證全面性和系統性的基礎上，對國內外的研究進展進行歸納述評，尤其是將這些方法與科研開發和實際應用緊密結合起來，對許多算法的改進和策略的延伸做了重點評述，為本領域科研和應用工作者提供值得借鑒的新觀點和新思路。

本書可作為從事光譜分析、化學計量學、分析儀器、現場快速或在線分析、過程控制等領域的研究和應用人員的參考書，也可作為相關專業的本科生和研究生的選修教材或教學參考書，以及企事業單位專業人員技術技能的培訓教材。

褚小立，石油化工科學研究院教授級高工，我國為數不多的現代過程分析技術學術帶頭人之一，長期從事成套近紅外光譜分析技術和應用研究，主持和參與了近20項基礎研究、新產品研發和應用技術推廣等科研項目，取得了多項具有創新性的研究成果，在國內外期刊發表論文80余篇，其中兩篇論文分別獲“2008年國內****影響百篇文章稱號”和“2012年**者5000—中國精品科技期刊論文”。申請發明專利30余項，有近20項獲得授權。獲省部級科技進步獎5項，其中獲軍隊科技進步一等獎1項，中石化科技進步二等獎3項。2005年獲侯祥麟石油加工科學技術獎，2009年獲中國石化閔恩澤青年科技人才獎，2011年獲閔恩澤院士科技原始創新獎，2013年獲13屆“中國青年科技獎”，2015年獲“中國分析測試協會科學技術青年獎”。
褚小立學術造詣深厚，編著了多部與分子光譜、化學計量學和現代過程分析技術等有關的學術著作，取得了很好學術成果，其中獨著的本書姊妹篇《化學計量學與分子光譜分析技術》是我國較為全面、系統介紹現代過程分析技術的專著，受到本領域專家和學者的一致好評。

1.內容全面——系統總結了用於光譜分析的各類化學計量學方法，包括光譜預處理算法、變量選擇算法、數據降維算法、線性和非線性多元定量校正算法、模式識別算法、模型傳遞算法和深度學習算法等。

2.寫法新穎——書中不是簡單地將算法進行羅列，而是將這些方法與科研開發和實際應用緊密結合起來，並對許多算法的改進和策略的延伸做了重點評述。

3.凝結經驗——書中凝結了褚小立教授多年從事光譜分析技術和化學計量學方法研發的經驗和體會，為本領域的科研和應用人員提供了很多值得借鑒的新觀點和新思路。

4.可讀性強——本書渾然一體，章節安排緊湊合理，內容新穎完整，語言貼近讀者，圖文並茂，觀點清晰明確，對光譜分析領域科研與教學工作者是一本非常有價值的參考書，也對相關領域科技工作者了解化學計量學有很大幫助。

近些年，現代光譜分析技術得到了迅猛發展，該技術的一個關鍵特徵是採用化學計量學方法對光譜數據進行處理，從而盡可能多地獲得定量和定性信息，顯著提高光譜分析技術的穩健性和準確性。現代光譜分析技術可直接對氣體、液體和固體等各種複雜混合物進行定性和定量分析，具有分析速度快、效率高、可實現無損和在線分析等優勢，目前已被廣泛應用於許多領域，例如農產品、食品、藥物、石油、化工、煙草、環保和醫學等領域，在科研和工農業生產中發揮著越來越重要的作用。

十年前，作者曾撰寫《化學計量學方法與分子光譜分析技術》（化學工業出版社，2011）一書，其中扼要地介紹了用於分子光譜分析技術的常用化學計量學方法。近十年來，隨著人工智能（機器學習和深度學習）、大數據和云計算等新興科技的飛速發展，為化學計量學注入了新思路、新途徑和新方法，用於光譜分析的新型化學計量學方法如雨後春筍般涌現出來，成為現代光譜分析技術中的重要研究前沿和關鍵技術支撐點，是國內外本領域專家學者重點和熱點的研究方向，集聚著理論創新和應用創新的巨大潛能和機會。

本書是《化學計量學方法與分子光譜分析技術》的續篇，主要介紹用於光譜分析的化學計量學方法，主要包括光譜預處理算法、變量選擇算法、數據降維算法、線性和非線性多元定量校正算法、模式識別算法、校正樣本選擇算法、界外樣本識別算法、模型更新與維護算法、多光譜融合算法、模型傳遞算法及用於三維光譜陣的多維數據分析算法。書中尤其對近些年興起的深度學習算法做了重點與深入的講解。本書涉及的光譜分析不僅包括分子光譜（例如近紅外光譜、中紅外光譜、紫外可見光譜、分子熒光光譜、拉曼光譜、太赫茲光譜等），還包括近些年興起的一些原子光譜（例如激光誘導擊穿光譜等）。

本書不是機器學習和多元統計分析方面的專業書籍，而是從實用光譜分析技術的出發點進行編寫的，其目的是使讀者了解用於光譜分析的化學計量學方法及其新進展，力求將這些方法與科研開發和實際應用結合起來，提供值得借鑒的新觀點和新思路。本書力求實用性和完整性，簡化甚至略去繁瑣的數學原理推導等理論性太強的內容，盡可能提供算法的完整框架知識，讓讀者掌握化學計量學算法主流知識點和完整脈絡，以期在具體的實際工作中理解好、選好、用好這些方法。在遇到具體問題時，本書分門別類的專業內容非常方便讀者進行查詢和鞏固。本書引用的參考文獻扎實而厚重，如果讀者對某些算法的推導細節感興趣，可根據相應的參考文獻按圖索驥。

本書的出版承蒙劉文清院士和李培武院士的大力推薦，我國化學計量學奠基人俞汝勤院士欣然為本書作序。科學大家提攜後進的精神，令作者備受鼓舞，在此一並表示最誠摯的感謝。

本書在力求全面性和系統性的同時，也盡可能對國內外這一領域的最新研究進展進行歸納評述，並將同行們在實踐中獲得的經驗和體會融入其中。但鑒於化學計量學方法和現代光譜分析技術的快速發展，加之作者知識結構的欠缺和編寫時間所限，書中難免存在疏漏和理解不到位的地方，敬請讀者不吝批評和指正。

作者

2021年1月30日

1 緒論 / 001
1．1 化學計量學概述 001
1．1．1 化學計量學起源、定義和發展歷程 001
1．1．2 化學計量學研究的內容 003
1．1．3 化學計量學方法的必要性 005
1．1．4 應用化學計量學方法需注意的問題 009
1．2 光譜結合化學計量學的分析方法 010
1．2．1 校正模型的建立 010
1．2．2 常規分析 014
1．2．3 方法的特點 014
1．3 現代光譜分析技術的開端——Karl Norris 的貢獻 016
參考文獻 022

2 現代光譜分析技術 / 026
2．1 引言 026
2．2 近紅外光譜 028
2．2．1 微型近紅外分析技術 029
2．2．2 在線近紅外分析技術 030
2．2．3 近紅外光譜標準方法 032
2．3 中紅外光譜 036
2．3．1 便攜式中紅外分析技術 036
2．3．2 在線中紅外分析技術 037
2．4 拉曼光譜 037
2．4．1 傅裡葉拉曼光譜 038
2．4．2 表面增強拉曼光譜 038
2．4．3 共聚焦拉曼光譜 039
2．4．4 空間偏移拉曼光譜 040
2．4．5 透射拉曼光譜 041
2．4．6 便攜式拉曼分析技術 042
2．4．7 光纖拉曼分析技術 043
2．5 紫外-可見光譜 044
2．6 分子熒光光譜 046
2．6．1 三維熒光光譜 046
2．6．2 激光誘導熒光光譜 047
2．7 低場核磁共振譜 048
2．8 太赫茲光譜 049
2．9 激光誘導擊穿光譜 051
2．10 光譜成像 052
參考文獻 056

3 矩陣和數理統計基礎 / 064
3．1 矩陣基礎 064
3．2 朗伯-比爾定律的矩陣表示 066
3．3 方差和正態分布 066
3．4 顯著性檢驗 069
3．5 相關係數 070
3．6 協方差與協方差矩陣 071
3．7 多變量的圖表示法 073
3．7．1 樣本的空間表示 073
3．7．2 箱須圖 073
3．7．3 雷達圖 075 參考文獻 077

4 光譜預處理方法 / 079
4．1 均值中心化 079
4．2 標準化 080
4．3 歸一化 080
4．4 平滑去噪 081
4．4．1 移動平均平滑 081
4．4．2 Savitzky-Golay卷積平滑 083
4．4．3 傅裡葉變換和小波變換 084
4．5 連續統去除法 085
4．6 自適應迭代重加權懲罰最小二乘 085
4．7 導數 087
4．7．1 Norris方法 087
4．7．2 Savitzky-Golay卷積求導 087
4．7．3 小波變換求導 089
4．7．4 分數階導數 091
4．8 SNV 和去趨勢 092
4．9 乘性散射校正 094
4．10 向量角轉換 095
4．11 傅裡葉變換 096
4．12 小波變換 098
4．13 圖像矩方法 103
4．14 外部參數正交化 104
4．15 廣義最小二乘加權 105
4．16 載荷空間標準化 106
4．17 斜投影 106
4．18 正交信號校正 106
4．18．1 Wold算法 107
4．18．2 Fearn算法 107
4．18．3 DOSC算法 108
4．18．4 DO 算法 108
4．18．5 正交信號校正算法的應用研究 109
4．19 凈分析信號 109
4．20 光程估計與校正 110
4．21 二維相關光譜方法 111
參考文獻 112

5 波長變量選擇方法 / 118
5．1 相關係數和方差分析方法 118
5．2 交互式自模型混合物分析方法 120
5．3 連續投影方法 121
5．4 變量投影重要性方法 122
5．5 無信息變量消除方法 122
5．6 競爭性自適應重加權采樣方法 124
5．7 間隔 PLS 方法 124
5．8 移動窗口 PLS 方法 125
5．9 遞歸加權 PLS 方法 126
5．10 全局優化的方法 126
5．10．1 遺傳算法 126
5．10．2 模擬退火算法 129
5．10．3 粒子群算法 129
5．10．4 蟻群算法 130
5．11 迭代保留信息變量方法 131
5．12 其他方法 133
5．13 波長選擇算法的聯合與融合 133
5．14 光譜預處理和波長選取方法的選擇 134
參考文獻 137

6 光譜降維方法 / 144
6．1 多重共線性問題 144
6．2 主成分分析 146
6．2．1 主成分分析基本原理 146
6．2．2 主成分數的確定 148
6．2．3 主成分分析算法 149
6．2．4 主成分分析的應用 149
6．2．5 多元分辨交替最小二乘 149
6．2．6 目標波段熵最小化 150
6．2．7 多級同時成分分析 151
6．3 非負矩陣因子分解 152
6．4 獨立成分分析 153
6．5 多維尺度變換 154
6．6 Isomap 方法 155
6．7 局部線性嵌入算法 156
6．8 t-分布式隨機鄰域嵌入算法 157
6．9 其他算法 158
參考文獻 159

7 線性校正方法 / 162
7．1 一元線性回歸 162
7．2 多元線性回歸 162
7．3 濃度殘差增廣最小二乘回歸 163
7．4 逐步線性回歸 164
7．5 嶺回歸 164
7．6 Lasso 回歸 165
7．7 最小角回歸 166
7．8 彈性網絡 167
7．9 主成分回歸 168
7．9．1 基本原理 168
7．9．2 選取最佳主因子數的方法 168
7．10 偏最小二乘回歸 171
參考文獻 174

8 非線性校正方法 / 176
8．1 人工神經網絡 176
8．1．1 引言 176
8．1．2 BP神經網絡及其算法 179
8．1．3 BP神經網絡的設計 182
8．1．4 其他類型的神經網絡 184
8．1．5 神經網絡參數的優化 185
8．2 支持向量機 186
8．2．1 引言 186
8．2．2 支持向量回歸 190
8．2．3 最小二乘支持向量回歸 192
8．2．4 支持向量回歸參數的優化 193
8．3 相關向量機 194
8．4 核偏最小二乘法 195
8．5 極限學習機 196
8．6 高斯過程回歸 198
參考文獻 200

9 校正樣本的選擇方法 / 203
9．1 引言 203
9．2 Kennard-Stone 方法 206
9．3 SPXY 方法 207
9．4 OptiSim 方法 208
9．5 其他方法 208
參考文獻 210

10 界外樣本的檢測方法 / 212
10．1 校正過程界外樣本的檢測 212
10．2 預測過程界外樣本的檢測 212
10．3 其他檢測方法 214
參考文獻 215

11 定量校正模型的維護更新 / 217
11．1 必要性 217
11．2 遞歸指數加權 PLS 方法 221
11．3 塊式遞歸 PLS 方法 221
11．4 實時學習與主動學習 223
參考文獻 223

12 模式識別方法 / 225
12．1 引言 225
12．2 無監督的模式識別方法 226
12．2．1 相似系數和距離 226
12．2．2 系統聚類分析 228
12．2．3 K-均值聚類方法 229
12．2．4 模糊 K-均值聚類方法 230
12．2．5 高斯混合模型 231
12．2．6 自組織神經網絡 232
12．3 有監督的模式識別方法 234
12．3．1 最小距離判別法 234
12．3．2 典型變量分析 234
12．3．3 K-最近鄰法 237
12．3．4 SIMCA 法 238
12．3．5 Logistic回歸 239
12．3．6 Softmax分類器 241
12．3．7 隨機森林 242
12．3．8 回歸方法用於判別分析 244
12．4 光譜檢索算法及其應用 245
12．4．1 引言 245
12．4．2 光譜檢索基本算法 246
12．4．3 光譜檢索算法的改進與應用 248
12．4．4 光譜檢索策略與應用 251
參考文獻 254

13 模型的評價 / 259
13．1 定量校正模型的評價 259
13．1．1 評價參數 259
13．1．2 模型的評價 261
13．1．3 模型的統計報告 266
13．2 模式識別模型性能的評價 266
參考文獻 270

14 提高模型預測能力的方法 / 272
14．1 提高穩健性的建模策略 272
14．2 基於局部樣本的建模策略 273
14．3 集成的建模策略 275
14．3．1 Bagging方法 275
14．3．2 Boosting方法 276
14．3．3 疊加PLS方法 278
14．3．4 堆棧泛化算法 280
14．4 虛擬樣本建模策略 281
14．5 半監督學習方法 283
14．6 多目標回歸策略 285
參考文獻 285

15 多光譜融合技術 / 290
15．1 融合策略與方法 290
15．2 多塊偏最小二乘方法 294
15．3 序貫正交偏最小二乘方法 295
15．4 多光譜融合的應用研究 296
15．5 展望 300
參考文獻 300

16 多維分辨和校正方法 / 303
16．1 引言 303
16．2 PARAFAC 方法 305
16．3 交替三線性分解方法 306
16．4 多維偏最小二乘法 307
參考文獻 309

17 模型傳遞方法 / 311
17．1 引言 311
17．2 經典算法 312
17．2．1 SSC算法 313
17．2．2 Shenk??s算法 313
17．2．3 DS算法 313
17．2．4 PDS算法 313
17．2．5 普魯克分析算法 315
17．2．6 目標轉換因子分析算法 315
17．2．7 最大似然主成分分析算法 315
17．2．8 SBC算法 316
17．3 經典算法的改進 316
17．4 算法新進展 319
17．4．1 CCA 算法 319
17．4．2 SST算法 320
17．4．3 ATLD算法 320
17．4．4 MTL算法 321
17．4．5 GLS算法 322
17．4．6 其他算法 322
17．5 全局模型、穩健模型和模型更新 325
17．6 應用研究進展 329
17．6．1 SBC方法 329
17．6．2 SSC方法 329
17．6．3 Shenk??s方法 330
17．6．4 DS方法 330
17．6．5 PDS方法 331
17．6．6 CCA 方法 333
17．6．7 全局模型的建立 334
17．6．8 其他方法 334
參考文獻 335

18 深度學習算法 / 354
18．1 棧式自動編碼器 354
18．2 卷積神經網絡 357
18．2．1 卷積神經網絡的基本構成 357
18．2．2 優化算法 361
18．2．3 損失函數 362
18．2．4 激活函數 363
18．2．5 防止過擬合的方法 365
18．2．6 經典的卷積神經網絡架構 367
18．2．7 流行的深度學習軟件框架 371
18．2．8 卷積神經網絡的設計 372
18．2．9 卷積神經網絡的訓練 374
18．2．10 卷積神經網絡的優缺點 376
18．2．11 卷積神經網絡的應用研究 376
18．3 深度信念網絡 383
18．4 遷移學習 385
參考文獻 387

19 化學計量學軟件和工具包 / 391
19．1 引言 391
19．2 軟件的基本構架和功能 391
19．3 常用軟件與工具箱 394
參考文獻 395

20 若干問題的探討 / 398
20．1 不同光譜分析技術的比較 398
20．2 化學計量學方法的選擇 400
20．2．1 多元校正方法的選擇 401
20．2．2 模式識別方法的選擇 401
20．2．3 光譜預處理方法和光譜變量的選擇 403
20．3 模型預測能力影響因素淺析 404
20．3．1 校正樣本的影響 404
20．3．2 基礎數據的影響 406
20．3．3 光譜測量方式的影響 409
20．3．4 光譜采集條件的影響 410
20．3．5 儀器性能的影響 414
20．4 展望 414
參考文獻 416

縮略語表 / 421

後記 / 433