एआई विक्रेता से मिलने से पहले मूल्यांकन सेट लिखें, पायलट के बाद नहीं

केंद्रीय विचार: जो भी उदाहरण प्रदान करता है वह एआई मूल्यांकन के परिणाम…

जो भी उदाहरण प्रदान करता है वह एआई मूल्यांकन के परिणाम का फैसला करता है। यदि विक्रेता डेमो डेटा को लाता है, तो खरीद पहले ही पहली बैठक से पहले तय की गई है।

एआई चयन प्रक्रियाएं आमतौर पर प्रदर्शनों के अनुक्रम के रूप में चलती हैं। प्रत्येक विक्रेता प्रस्तुत करता है, प्रत्येक अच्छी तरह से प्रस्तुत करता है, और खरीद टीम उन प्रणालियों की छापों की तुलना में छोड़ी जाती है जो प्रत्येक व्यक्ति को अपनी सबसे अच्छी सामग्री पर दिखाया गया था। हर कोई यह जानता है कि यह कमजोर है, और सामान्य उपाय एक भुगतान पायलट है - जो महंगा, धीमा है और अभी भी डेमो को देखने वाले लोगों द्वारा अंत में अनौपचारिक रूप से स्कोर किया गया है।

क्या बदल गया है और अब यह क्यों मायने रखता है: आयोजित आउट सेट पर स्कोर सटीकता, श्रेणी द्वारा त्रुटि…

यह बताता है कि शॉर्टलिस्ट कैसे फैलता है। टीमें जो अकेले डेमो चलाते हैं, वे एक प्राथमिकता पर पहुंचते हैं, उन्हें स्पष्ट करना मुश्किल लगता है, और कहा गया कारण बैठकों के बीच बहाव: यह अधिक पॉलिश महसूस किया, टीम मजबूत लग रही थी, रोडमैप स्पष्ट था। टीमें जो अपने खुद के उदाहरण लाती हैं, उनकी पसंद को संख्याओं में वर्णित करती हैं और इंप्रेशन के बजाय वजन के बारे में असहमत होती हैं। दूसरी तरह की असहमति उत्पादक है; पहला यह है कि संगठन तीन साल के अनुबंधों में कैसे खत्म हो जाते हैं, वे अठारह महीने बाद ही सही साबित नहीं कर सकते।

ऑपरेटिंग मॉडल का निर्माण: ज्ञात परिणामों के साथ दो सौ वास्तविक मामलों का नमूना,…

किसी भी विक्रेता संपर्क से पहले ज्ञात सही परिणामों के साथ अपने स्वयं के मामलों के एक बंद सेट को इकट्ठा करें और उसी स्थिति में इसके खिलाफ हर प्रदर्शन को स्कोर करें।

दो सौ उदाहरण आमतौर पर पर्याप्त होते हैं और एक fortnight में प्राप्त करने योग्य होते हैं। उन्हें उन वितरण के दौरान नमूना करें जो आप वास्तव में उन लोगों के बजाय देखते हैं: नियमित बहुमत, मौसमी किनारे के मामले, विकृत इनपुट, और कुशल कि अनुभवी कर्मचारी के बारे में तर्क देते हैं। यही कारण है कि पिछले समूह सबसे मूल्यवान और सबसे अधिक बार omitted है, क्योंकि यह वह समूह है जहां संगठन स्वयं के साथ सहमत नहीं है। पहले सही उत्तरों को स्थापित करें और असहमति रिकॉर्ड करें - एक ऐसा मामला जो आपके स्वयं के विशेषज्ञों को विभाजित करता है, उसे विक्रेता के खिलाफ नहीं गिना जा सकता है, लेकिन यह आपको कुछ और उपयोगी बताता है कि यह प्रक्रिया अस्पष्ट है।

क्या निर्णय का उत्पादन: एआई के लिए प्रोक्योरमेंट प्रक्रियाएं हर आयाम में विस्तृत…

आयोजित आउट सेट पर स्कोर सटीकता, श्रेणी द्वारा त्रुटि प्रोफ़ाइल, आपकी मात्रा पर प्रति हजार मामलों की लागत और औसत के बजाय अपने शिखर पर विलंबता।

त्रुटि प्रोफ़ाइल हेडलाइन सटीकता से अधिक होती है, क्योंकि त्रुटियां विनिमेय नहीं होती हैं। नब्बे-दो प्रतिशत में एक प्रणाली जो बेतरतीब ढंग से विफल हो जाती है, आमतौर पर नब्बे-चार में एक से अधिक बेहतर होती है जो आपके राजस्व का पांचवां प्रतिनिधित्व करने वाली श्रेणी पर व्यवस्थित रूप से विफल हो जाती है। प्रति श्रेणी के प्रदर्शन की रिपोर्ट करें और एक एकल कुल संख्या को मना करें। लागत पर, अपने वास्तविक वितरण को मॉडल करें, जिसमें रिट्रीज़ और लंबे इनपुट शामिल हैं, क्योंकि प्रति यूनिट मूल्य निर्धारण एक लघु औसत इनपुट के खिलाफ बोली जाती है, जो बिल को उत्पादन की मात्रा पर एक विस्तृत मार्जिन से कम करती है।

जहां निष्पादन टूट जाता है: एक खरीदार एक एआई खरीद से पहले कर सकता है, जो ज्ञात…

मुख्य जोखिम स्वच्छ ऐतिहासिक रिकॉर्ड से सेट का निर्माण कर रहा है, जो एक बेंचमार्क पैदा करता है जो अब गन्दा इनपुट के समान नहीं है, सिस्टम वास्तव में प्राप्त होगा।

दूसरा जोखिम सेट को लीक कर रहा है। एक बार उदाहरण एक पायलट के लिए एक विक्रेता के साथ साझा किए जाते हैं, वे किसी भी बाद के दौर के लिए एक आयोजित-आउट उपाय होना बंद कर देते हैं, और उन पर मूल्यांकन किया गया नवीनीकरण ज्ञापन को माप रहा है। एक आरक्षित विभाजन रखें जो कभी किसी के साथ साझा नहीं किया जाता है, केवल नवीकरण पर इसका उपयोग करें, और इसके अस्तित्व को गोपनीय मानते हैं। यह unglamorous प्रशासनिक स्वच्छता है, और यह सबूतों के आधार पर एक नवीकरण निर्णय और एक incumbent की परिचितता पर आधारित अंतर है।

यह व्यवहार में कैसा दिखता है: एक खरीदार एक एआई खरीद से पहले कर सकता है, जो ज्ञात…

अभ्यास में एक विश्लेषक दो सप्ताह लगते हैं और पूरी तरह से खरीद में बदलाव करते हैं। विक्रेताओं को समान सौ मामले भेजे जाते हैं, एक निश्चित प्रारूप में आउटपुट वापस करते हैं, और उन लोगों द्वारा बनाए जाते हैं जिन्होंने डेमो में भाग नहीं लिया था। शेष सौ रिजर्व में रहते हैं। जिन वार्तालापों का पालन करते हैं वे विशेष रूप से अलग हैं: विक्रेता टाइमलाइन के बजाय त्रुटि श्रेणियों के बारे में पूछते हैं, और जो लोग गंभीरता से एक श्रेणी के साथ जुड़ते हैं, वे खराब रूप से रन बनाए जाते हैं, वे आमतौर पर शॉर्टलिस्टिंग के लायक होते हैं। यह भी आंतरिक बातचीत बदलता है। एक प्रक्रिया समिति जिसने सप्ताह के लिए तर्क दिया है, जिसके बारे में प्रणाली अधिक सक्षम महसूस करती है, एक दोपहर में तर्क को हल कर सकती है, एक ही सौ मामले प्रत्येक के माध्यम से चल रहे हैं, और अवशिष्ट असहमति इस बारे में है कि व्यवसाय के लिए कितना एक विशेष त्रुटि श्रेणी मायने रखती है - जो एक निर्णय है कि समिति वास्तव में बनाने के लिए योग्य है, और वह उस पर अपना समय बिता रहा है। एक व्यावहारिक सावधानी: कुछ भेजने से पहले आउटपुट प्रारूप को ठीक करें। वेंडरों ने फ्री-फॉर्म प्रतिक्रियाओं के लिए पूछा, प्रत्येक एक अलग आकार वापस कर देगा, और स्कोरिंग तब व्याख्या में एक व्यायाम बन जाता है जो वास्तव में निर्धारित विषयता को हटा देता है। एक लघु स्कीमा और एक काम का उदाहरण पर्याप्त है, और यह एक घंटे लेता है।

इसके खिलाफ सबसे मजबूत तर्क: जो भी उदाहरण प्रदान करता है वह एआई मूल्यांकन के परिणाम…

निष्पक्ष आपत्ति यह है कि एक आयोजित-आउट सेट उस क्षमता को पुरस्कृत करता है जिसे आप पहले से ही माप सकते हैं और आप नहीं कर सकते हैं। सिस्टम तरीके में भिन्न होते हैं एक सटीकता स्कोर कैप्चर नहीं करता है - वे कैसे विफल होते हैं, वे खुद को कैसे समझाते हैं, वे आपके इतिहास में किसी भी चीज़ के विपरीत इनपुट पर कैसे व्यवहार करते हैं - और एक विशुद्ध रूप से मात्रात्मक प्रक्रिया वास्तविक रूप से बेहतर एक पर बेंचमार्क-अनुकूलित उत्पाद का चयन कर सकती है।

इसलिए सेट शॉर्टलिस्ट का फैसला करना चाहिए, विजेता नहीं। सिस्टम को खत्म करने के लिए इसका उपयोग करें जो काम नहीं कर सकता है, फिर गुणात्मक मानदंडों पर जीवित बचे लोगों के बीच चयन करें जो स्कोर तक नहीं पहुंच सकते: समर्थन मॉडल, डेटा शर्तें, निकास लागत, और क्या टीम सीधे कठोर प्रश्नों का उत्तर देती है। जो सेट हटाता है वह अकेले छापों पर चुनने की संभावना है, जो ध्वनियों की तुलना में एक छोटा दावा है और ध्वनियों की तुलना में बहुत बड़ा सुधार है।

30-day कार्यान्वयन अनुक्रम: आयोजित आउट सेट पर स्कोर सटीकता, श्रेणी द्वारा त्रुटि…

ज्ञात परिणामों के साथ दो सौ वास्तविक मामलों का नमूना, उन्हें आधे में विभाजित करें और सूची में प्रत्येक विक्रेता को पहले सौ भेजें।

एक से तीन दिन, श्रेणियों और नमूना फ्रेम को परिभाषित करते हैं। चार से आठ दिन, मामलों को खींचें और दो अनुभवी लोग उन्हें स्वतंत्र रूप से लेबल करते हैं - असहमति दर किसी भी विक्रेता के लिए आपकी छत है। नौ से दस दिन, असहमति को हल करने या बाहर करने और सेट को फ्रीज करने के लिए। दिन ग्यारह, विभाजित और लॉक रिजर्व आधे कहीं खरीद टीम आकस्मिक रूप से उपयोग नहीं कर सकता है। 12 दिन बाद, प्रत्येक विक्रेता को उसी प्रारूप में उसी सौ के माध्यम से चलाते हैं, जिससे अंधा हो जाता है।

आरक्षित आधे वास्तव में आरक्षित रखें

रिकॉर्ड जो आरक्षित विभाजन तक पहुंच गया है और जब यह आखिरी इस्तेमाल किया गया था। असफलता शायद ही कभी जानबूझकर है: किसी को एक नवीकरण से पहले एक त्वरित पवित्रता की जांच की आवश्यकता होती है, निकटतम उपलब्ध सेट को खींचती है, और आरक्षित को बिना खर्च किए खर्च किया जाता है। इसे एक नामित मालिक और एक लॉग के साथ नियंत्रित परिसंपत्ति के रूप में इलाज करें, और संभवतः सालाना इसके पांचवें हिस्से को ताज़ा करें ताकि यह वास्तव में आपके द्वारा प्राप्त किए गए बहाव को ट्रैक कर सके। एक सेट ने तीन साल पहले इकट्ठा किया और कभी भी ताज़ा नहीं किया एक कार्यभार को माप रहा है जो अब मौजूद नहीं है।

प्रत्येक नवीनीकरण पर आरक्षित आधे के खिलाफ और सालाना एक ताजा नमूना के खिलाफ विद्रोही को फिर से स्कोर करें। दोनों को एक साथ पढ़ें: नए नमूने पर कमजोर प्रदर्शन के साथ मूल सेट पर मजबूत प्रदर्शन ड्रिफ्ट का हस्ताक्षर है, या तो विक्रेता के सिस्टम में या अपने स्वयं के इनपुट में, और इसके दौरान अनुबंध चर्चा से पहले भेद की स्थापना के लायक है।

संपादकीय निष्कर्ष: एआई के लिए प्रोक्योरमेंट प्रक्रियाएं हर आयाम में विस्तृत…

एआई के लिए प्रोक्योरमेंट प्रक्रियाएं हर आयाम में विस्तृत हैं, जो गुणवत्ता का फैसला करती हैं। एक विश्लेषक के समय के दो सप्ताह पहले विक्रेता कॉल से पहले खर्च किए गए, सबूतों पर किए गए छापों पर किए गए निर्णय को बदल देता है - और संगठन को एक उपकरण के साथ छोड़ देता है जो अभी भी नवीकरण पर उपयोग कर सकता है, जो कि कोई भी उम्मीद नहीं करता है और हर कोई जरूरतमंद होता है।