文/北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 劉成
《專(zhuān)利法》第22條第3款規(guī)定授予專(zhuān)利權(quán)的發(fā)明應(yīng)當(dāng)具備創(chuàng)造性條件，而實(shí)際專(zhuān)利申請(qǐng)業(yè)務(wù)中，相對(duì)于其他不予授予專(zhuān)利權(quán)的理由，創(chuàng)造性不足，通常是影響專(zhuān)利授權(quán)的主要原因。
判斷發(fā)明類(lèi)型的專(zhuān)利是否滿(mǎn)足創(chuàng)造性條件，具體是判斷專(zhuān)利技術(shù)方案相對(duì)于現(xiàn)有技術(shù)是否具備突出的實(shí)質(zhì)性特點(diǎn)以及顯著的進(jìn)步。簡(jiǎn)單來(lái)說(shuō)，具備突出的實(shí)質(zhì)性特點(diǎn)，是指專(zhuān)利技術(shù)方案相對(duì)于現(xiàn)有技術(shù)具有明顯的“差異”，并且，對(duì)于本領(lǐng)域技術(shù)人員而言，這種差異也并非顯而易見(jiàn)，即本領(lǐng)域技術(shù)人員難以通過(guò)合乎邏輯的分析、推理或者有限的試驗(yàn)得到該差異。顯著的進(jìn)步，是指專(zhuān)利技術(shù)方案因?yàn)榫邆湓摗安町悺保軌虍a(chǎn)生有益的技術(shù)效果，可以是現(xiàn)有技術(shù)無(wú)法企及的技術(shù)效果，也可以是與現(xiàn)有技術(shù)同等的技術(shù)效果。
相應(yīng)地，在審?fù)ù饛?fù)階段，也是圍繞發(fā)明具有突出的實(shí)質(zhì)性特點(diǎn)以及顯著的進(jìn)步來(lái)抗辯發(fā)明滿(mǎn)足專(zhuān)利可授權(quán)的條件。
目前，“三步法”，成為了主流的審?fù)ù饛?fù)思路。
在“三步法”的第二步中，審查員通常會(huì)比較本申請(qǐng)的權(quán)利要求1與審查員提供的對(duì)比文件1，確定區(qū)別技術(shù)特征以及該區(qū)別技術(shù)特征所實(shí)際要解決的技術(shù)問(wèn)題，而發(fā)明能夠獲得授權(quán)的關(guān)鍵，很大程度上取決于利用區(qū)別技術(shù)特征解決該技術(shù)問(wèn)題，是否為另一現(xiàn)有技術(shù)或者公知常識(shí)。
評(píng)判利用區(qū)別技術(shù)特征解決該技術(shù)問(wèn)題是否為現(xiàn)有技術(shù)或者公知常識(shí)，不僅要分析該區(qū)別技術(shù)特征所描述的技術(shù)實(shí)現(xiàn)，是否為另一現(xiàn)有技術(shù)所記載的技術(shù)實(shí)現(xiàn)，或者是公知的技術(shù)實(shí)現(xiàn)；同時(shí)，還需要分析該區(qū)別技術(shù)特征在本發(fā)明中所具有的作用，是否同樣在現(xiàn)有技術(shù)中記載，或者被本領(lǐng)域技術(shù)人員所公知。
在專(zhuān)利實(shí)務(wù)中，如果區(qū)別技術(shù)特征所描述的技術(shù)實(shí)現(xiàn)沒(méi)有被另一現(xiàn)有技術(shù)記載，或者不屬于公知的技術(shù)實(shí)現(xiàn)，通常能夠較為容易說(shuō)服審查員以獲得專(zhuān)利授權(quán)。但是，在另一現(xiàn)有技術(shù)或者公知常識(shí)記載了該區(qū)別技術(shù)特征所描述的技術(shù)實(shí)現(xiàn)的情況下，專(zhuān)利能夠獲得授權(quán)，主要取決于在答復(fù)審查意見(jiàn)的過(guò)程中著力抗辯區(qū)別技術(shù)特征在本發(fā)明所具有的作用未被記載或者不被公知。相對(duì)技術(shù)實(shí)現(xiàn)未被公開(kāi)來(lái)說(shuō)，抗辯區(qū)別技術(shù)特征的作用未被公開(kāi)，審查員的接受程度往往較低（下面以區(qū)別技術(shù)特征所描述的技術(shù)實(shí)現(xiàn)被公開(kāi)、區(qū)別技術(shù)特征所具有的作用未被公開(kāi)為前提進(jìn)行說(shuō)明）。
其實(shí)，區(qū)別技術(shù)特征在本發(fā)明中所具有的作用，對(duì)應(yīng)于該區(qū)別技術(shù)特征所實(shí)際要解決的技術(shù)問(wèn)題。因此，在答復(fù)審查意見(jiàn)的過(guò)程中，抗辯區(qū)別技術(shù)特征在本發(fā)明中所具有的作用未被公開(kāi)，其實(shí)就是在陳述現(xiàn)有技術(shù)無(wú)法解決本發(fā)明實(shí)際要解決的技術(shù)問(wèn)題。但是，從技術(shù)問(wèn)題的角度進(jìn)行抗辯，是在破壞審查員用“三步法”否定本專(zhuān)利不具有創(chuàng)造性的評(píng)述邏輯，這有利于增大對(duì)于審查員的說(shuō)服力度。
此時(shí)，在意見(jiàn)陳述時(shí)所主張的本發(fā)明實(shí)際要解決的技術(shù)問(wèn)題是否正確，成為本發(fā)明能否獲得授權(quán)的關(guān)鍵。
那，什么才是正確的技術(shù)問(wèn)題？
從獲得專(zhuān)利授權(quán)的角度考慮，正確的技術(shù)問(wèn)題，應(yīng)當(dāng)與區(qū)別技術(shù)特征在現(xiàn)有技術(shù)或者公知常識(shí)所能解決的技術(shù)問(wèn)題并不一致，具體是本發(fā)明能夠解決現(xiàn)有技術(shù)或者公知常識(shí)所不能解決的技術(shù)問(wèn)題，以此才能凸顯本發(fā)明中利用該區(qū)別技術(shù)特征解決特定的技術(shù)問(wèn)題（現(xiàn)有技術(shù)解決不了的技術(shù)問(wèn)題）所具有的創(chuàng)新性。
回到我們最初想要強(qiáng)調(diào)的區(qū)別點(diǎn)：區(qū)別技術(shù)特征在本發(fā)明中的具有獨(dú)特的作用。即，區(qū)別技術(shù)特征的作用，是在本發(fā)明的實(shí)施環(huán)境下所具有的特定作用，所以，所解決的技術(shù)問(wèn)題，應(yīng)該也是本發(fā)明的實(shí)施環(huán)境下所存在的特定的技術(shù)問(wèn)題。也就是說(shuō)，在陳述區(qū)別技術(shù)特征實(shí)際要解決的技術(shù)問(wèn)題時(shí)，應(yīng)當(dāng)體現(xiàn)產(chǎn)生該技術(shù)問(wèn)題所處的實(shí)施環(huán)境約束。
為了便于更好的理解，下面結(jié)合一個(gè)案例進(jìn)行說(shuō)明。
在迭代訓(xùn)練AI模型過(guò)程中，可以動(dòng)態(tài)調(diào)整AI模型的Batchsize的取值。其中，Batchsize的取值（為AI模型中的一種超參數(shù)），用于指示AI模型在一輪訓(xùn)練過(guò)程中所使用的訓(xùn)練樣本的數(shù)量。Batchsize的取值越大，單輪訓(xùn)練過(guò)程中AI模型所使用的訓(xùn)練樣本越多，這使得AI模型在訓(xùn)練過(guò)程中的參數(shù)更新越穩(wěn)定，從而加速AI模型的收斂，AI模型的訓(xùn)練耗時(shí)越短。反之，Batchsize的取值越小，單輪訓(xùn)練過(guò)程中AI模型所能使用的訓(xùn)練樣本的越少，AI模型的收斂速度越慢，但是單輪訓(xùn)練過(guò)程中所引入的隨機(jī)性越多，能夠避免AI模型陷入局部最優(yōu)，從而能夠保證AI模型的訓(xùn)練準(zhǔn)確性。
為此，本發(fā)明的技術(shù)方案提出在訓(xùn)練AI模型的過(guò)程中，根據(jù)不同輪次的梯度（用于更新模型中的權(quán)重等參數(shù)）差異來(lái)調(diào)整Batchsize的取值。
具體地，在模型經(jīng)過(guò)h輪訓(xùn)練后記錄第h輪訓(xùn)練AI模型的過(guò)程中所采用的梯度。然后，繼續(xù)對(duì)模型進(jìn)行k輪訓(xùn)練，k為整數(shù)。接著，計(jì)算第h輪訓(xùn)練的過(guò)程中所采用的梯度與第（h+k）輪訓(xùn)練過(guò)程中所采用的梯度之間的余弦值。并且，當(dāng)余弦值小于預(yù)設(shè)閾值時(shí)，表明在多輪訓(xùn)練AI模型的過(guò)程中，AI模型的參數(shù)并沒(méi)有朝著相同或相近的方向進(jìn)行變化，也即AI模型處于不收斂的狀態(tài)。此時(shí)，可以增大Batchsize的取值，來(lái)加速AI模型的收斂，以此實(shí)現(xiàn)加速AI模型的訓(xùn)練。
其對(duì)應(yīng)的權(quán)利要求1如下：
1、一種模型訓(xùn)練方法，其特征在于，所述方法包括：
在迭代訓(xùn)練人工智能AI模型的過(guò)程中，記錄AI模型在第h輪訓(xùn)練時(shí)所采用的第一梯度，所述第一梯度用于更新所述AI模型中的目標(biāo)參數(shù)的取值；
記錄所述AI模型在第（h+k）輪訓(xùn)練時(shí)所采用的第二梯度，所述第二梯度用于更新所述目標(biāo)參數(shù)的取值；
計(jì)算所述第一梯度與所述第二梯度之間的余弦值；
當(dāng)所述余弦值小于閾值時(shí)，增大所述AI模型的Batchsize的取值；
基于增大后的Batchsize的取值，繼續(xù)訓(xùn)練所述AI模型。
審查員在審查過(guò)程中，檢索到一篇訓(xùn)練AI模型的現(xiàn)有技術(shù)，并通過(guò)技術(shù)特征比對(duì)，確定區(qū)別技術(shù)特征如下：
A：計(jì)算所述第一梯度與所述第二梯度之間的余弦值；
B：當(dāng)所述余弦值小于閾值時(shí)，增大所述AI模型的Batchsize的取值。
基于上述區(qū)別技術(shù)特征，由于增大AI模型的Batchsize取值能夠加速AI模型的訓(xùn)練速度，因此，審查員確定該區(qū)別技術(shù)特征A和B實(shí)際要解決的技術(shù)問(wèn)題在于：如何提高AI模型的訓(xùn)練效率。
其中，審查員進(jìn)一步檢索到增大Batchsize的取值能夠加速AI模型訓(xùn)練的其他現(xiàn)有技術(shù)，并以此否定區(qū)別技術(shù)特征B所具有的創(chuàng)造性。同時(shí)，計(jì)算兩個(gè)張量之間的余弦值，也是本領(lǐng)域公知的技術(shù)實(shí)現(xiàn)。
針對(duì)審查員上述的評(píng)述邏輯，筆者不排除有其他可適用的答復(fù)思路。但是，如果從破壞“三步法”的評(píng)述邏輯出發(fā)進(jìn)行答復(fù)，那確定正確的技術(shù)問(wèn)題，將是能否說(shuō)服審查員以獲得專(zhuān)利授權(quán)的關(guān)鍵。
如果仔細(xì)分析審查員所定義的實(shí)際要解決的技術(shù)問(wèn)題，可以發(fā)現(xiàn)：實(shí)現(xiàn)提高AI模型的訓(xùn)練效率，其實(shí)僅依靠區(qū)別技術(shù)特征“增大所述AI模型的Batchsize的取值”即可做到，所以，審查員在定義實(shí)際要解決的技術(shù)問(wèn)題時(shí)，并沒(méi)有考慮到計(jì)算兩個(gè)梯度之間的余弦值以及增大Batchsize取值所需滿(mǎn)足的條件這兩個(gè)特征，所以，審查員定義的技術(shù)問(wèn)題，為片面的、不正確的技術(shù)問(wèn)題。
相應(yīng)地，在進(jìn)行創(chuàng)造性抗辯時(shí)，基于上述區(qū)別技術(shù)特征所定義的正確的技術(shù)問(wèn)題，應(yīng)該綜合考慮全部區(qū)別技術(shù)特征。
仔細(xì)分析，既然增大Batchsize的取值能夠加速AI模型的訓(xùn)練，那為什么本發(fā)明不在模型訓(xùn)練的初始階段，就設(shè)置盡可能大的Batchsize的取值，這樣，AI模型的訓(xùn)練效率理論上就能達(dá)到最快。原因很簡(jiǎn)單，在訓(xùn)練AI模型時(shí)，不僅要考慮AI模型的訓(xùn)練效率，還要考慮到訓(xùn)練得到的AI模型的準(zhǔn)確性。如果最終訓(xùn)練得到的AI模型在推理時(shí)的準(zhǔn)確性很低，那么這個(gè)AI模型即使是在1秒之內(nèi)就能完成訓(xùn)練，也是沒(méi)有意義的。在前面介紹技術(shù)背景的時(shí)候也提及了，如果Batchsize的取值過(guò)大，容易導(dǎo)致AI模型在訓(xùn)練時(shí)陷入局部最優(yōu)，影響AI模型的準(zhǔn)確性。所以在本發(fā)明的技術(shù)方案中，是在兩個(gè)輪次的梯度之間的余弦值小于預(yù)設(shè)閾值時(shí)，才會(huì)選擇增大Batchsize的取值，這是為了在確定AI模型不收斂的情況下，才會(huì)選擇增大Batchsize的取值來(lái)加速AI模型收斂，也即加速AI模型訓(xùn)練，也就是說(shuō)，在AI模型本身已經(jīng)收斂的情況下（即兩個(gè)梯度之間的余弦值大于預(yù)設(shè)閾值）的情況下，無(wú)需增大Batchsize取值（避免AI模型陷入局部最優(yōu)）。如此，不僅可以在適當(dāng)?shù)臅r(shí)機(jī)通過(guò)增大Batchsize取值來(lái)實(shí)現(xiàn)模型訓(xùn)練加速，而且，也能保證最終訓(xùn)練得到的AI模型的精度能夠達(dá)到較高水平。
對(duì)于本發(fā)明而言，僅片面考慮AI模型的訓(xùn)練效率是沒(méi)有意義的，提高AI模型的訓(xùn)練效率一定是在能夠保證訓(xùn)練得到的AI模型的精度能夠達(dá)到較高水平的基礎(chǔ)上實(shí)現(xiàn)的優(yōu)化目標(biāo)。所以，我們?cè)谝庖?jiàn)陳述時(shí)，基于區(qū)別技術(shù)特征所定義的本發(fā)明實(shí)際要解決的技術(shù)問(wèn)題，應(yīng)當(dāng)是：在保證AI模型的訓(xùn)練精度能夠達(dá)到較高水平的情況下，提高AI模型的訓(xùn)練效率。即，“保證AI模型的訓(xùn)練精度”，是實(shí)現(xiàn)“提高AI模型的訓(xùn)練效率”的實(shí)施環(huán)境約束。
結(jié)合我們定義的技術(shù)問(wèn)題進(jìn)行分析，現(xiàn)有技術(shù)雖然公開(kāi)了增大Batchsize的取值能夠提高AI模型的訓(xùn)練效率，但是無(wú)法保證訓(xùn)練得到的AI模型的精度能夠達(dá)到較高水平，所以審查員檢索到的現(xiàn)有技術(shù)無(wú)法解決本發(fā)明實(shí)際要解決的技術(shù)問(wèn)題。既然現(xiàn)有技術(shù)解決不了本發(fā)明能夠解決的技術(shù)問(wèn)題，破壞了“三步法”中的第三步的評(píng)述邏輯，那自然而然本發(fā)明應(yīng)當(dāng)具備創(chuàng)造性，符合專(zhuān)利授權(quán)的條件。
筆者建議，在定義實(shí)際要解決的技術(shù)問(wèn)題時(shí)，應(yīng)當(dāng)充分考慮全部區(qū)別技術(shù)特征對(duì)于解決技術(shù)問(wèn)題的貢獻(xiàn)，這樣才能挖掘出技術(shù)問(wèn)題所處的實(shí)施環(huán)境的約束。正如上述舉例中，應(yīng)當(dāng)考慮為什么在選擇增大Batchsize的取值時(shí)，需要滿(mǎn)足兩個(gè)輪次的梯度之間的余弦值小于預(yù)設(shè)閾值這一實(shí)施條件，基于這個(gè)實(shí)施條件的作用，挖掘出需要保證AI模型的訓(xùn)練精度的目的（也即實(shí)施環(huán)境的約束），以此才能制定正確的、本發(fā)明實(shí)際要解決的技術(shù)問(wèn)題。
以上是筆者針對(duì)答復(fù)審查意見(jiàn)過(guò)程中的一些思考總結(jié)，對(duì)于存在的不妥之處，還請(qǐng)讀者批評(píng)指教。