व्यावसायिक संचालन में एआई एजेंट: जहां वे काम करते हैं, जहां वे चुपचाप विफल रहते हैं

केंद्रीय विचार: एक एआई एजेंट अपने स्थान को कमाता है जब यह एक प्रतिवर्ती…

एक एआई एजेंट अपने स्थान को कमाता है जब यह एक प्रतिवर्ती परिणाम और गलत होने की सहज लागत के साथ एक सीमित निर्णय का मालिक है। प्रत्येक अन्य फ़्रेमिंग एक डेमो में बदल जाता है जो कोई भी उत्पादन में डाल नहीं सकता है।

शब्द एजेंट ने लगभग सब कुछ अवशोषित कर लिया है: एक चैट विंडो, एक अनुसूचित स्क्रिप्ट, एक पुनर्प्राप्ति पाइपलाइन, एक ऐसा सिस्टम जो अपने स्वयं के टिकट को फाइल करता है। अस्पष्टता महंगा है, क्योंकि एक टीम जो यह नहीं कह सकती कि एजेंट किस निर्णय का मालिक नहीं कह सकता कि वह किस तरह काम कर रहा है। अधिकांश कार्यक्रम जो स्टाल पहले से ही कुछ कार्यात्मक बना चुके हैं। वे कभी नीचे लिख नहीं थे - जिस बिंदु पर एजेंट रुक जाता है और एक व्यक्ति अगले कदम लेता है - और उस सीमा के बिना वहाँ परीक्षण करने के लिए कुछ भी नहीं है, अनुमोदन करने के लिए कुछ भी नहीं है, और कोई भी संकेत करने के लिए तैयार नहीं है।

क्या बदल गया है और अब यह क्यों मायने रखता है: जिस दर पर एजेंट के आउटपुट को संपादित किए बिना स्वीकार…

पैटर्न जहां काम मर जाता है में दिखाई देता है। यह शायद ही कभी मॉडल मूल्यांकन है; यह समीक्षा है जिसके बाद आती है, जब कानूनी पूछता है कि क्या होता है अगर एजेंट गलत है और जवाब एक झिलमिलाहट है। कार्यक्रम जो जीवित रहते हैं, एक unglamorous विशेषता साझा करने के लिए करते हैं: पहले एजेंट ने कुछ ऐसा संभाला जो संगठन पहले ही बुरी तरह से और सस्ते में था, जहां गलती ग्राहक के बजाय कुछ मिनट खर्च करती है। जिन कार्यक्रमों में स्टाल ने आमतौर पर सबसे ज्यादा दिखाई देने वाले वर्कफ़्लो को चुना, क्योंकि यह एक कार्यकारी ध्यान देने वाला था, और दृश्यता वास्तव में वही है जो त्रुटि होने पर अवधि के दौरान अस्वीकार्य त्रुटि बनाता है।

ऑपरेटिंग मॉडल का निर्माण: एक कतार चुनें, पहले एस्केलेशन नियम लिखें, एजेंट को दो…

एक निर्णय के रूप में पहला एजेंट का दायरा, कोई विभाग नहीं। इसे प्राप्त करने वाले इनपुट का नाम दें, यह निर्णय करता है, यह कार्रवाई बिना पूछ के ली जा सकती है, यह कार्रवाई करना चाहिए, और वह व्यक्ति जो एस्केलेटर का मालिक है।

संकेत से पहले escalation नियम लिखें। यह वह हिस्सा है जो यह निर्धारित करता है कि क्या सिस्टम को मंजूरी दे दी जा सकती है, और यह वह हिस्सा है जो सबसे अधिक टीमों को आखिरी तक छोड़ देता है। एक उपयोगी नियम के बारे में बहिष्कार के बजाय सीमा के बारे में विशिष्ट है: एक निर्धारित मूल्य के ऊपर बढ़ोतरी, जब विश्वास एक निर्धारित स्तर से नीचे गिर जाता है, तब escalate जब अनुरोध एक नामित श्रेणी को छूता है। वेग नियम - जब अनिश्चित - अप्रवर्तनीय होते हैं, तो एस्केलेट करें क्योंकि मॉडल की अनिश्चितता आपकी जोखिम की भूख को कैलिब्रेट नहीं करती है, और न ही किसी और की है।

क्या निर्णय का उत्पादन: एक एजेंट कार्यक्रम में दिलचस्प सवाल कभी नहीं रहा है कि…

जिस दर पर एजेंट के आउटपुट को संपादित किए बिना स्वीकार किया जाता है, उस त्रुटि की लागत जो यह करती है, और जब मालिक की टीम वापस हो जाती है। अकेले कार्य वॉल्यूम आपको बताता है कि क्या काम में सुधार हुआ है।

स्वीकृति दर ईमानदार संख्या है क्योंकि यह उन लोगों द्वारा उत्पन्न होती है जिन्हें आउटपुट के साथ रहना पड़ता है। अस्वीकृति से अलग से बदलाव ट्रैक करें: कम अस्वीकृति के साथ एक उच्च संपादन दर का मतलब है कि एजेंट उपयोगी रूप से तैयार हो रहा है लेकिन परिष्करण नहीं है, जो एक मॉडल परिणाम के बजाय एक स्कोपिंग परिणाम है। इसके अलावा टीम ने क्या करना बंद कर दिया। यदि सहेजे गए घंटों को एजेंट की देखरेख में अवशोषित किया गया था, तो कार्यक्रम ने इसे हटाने के बजाय काम किया है, और यह एक उपयोग डैशबोर्ड में कहीं नहीं दिखाता है।

जहां निष्पादन टूट जाता है: अधिकांश एआई एजेंट प्रोग्राम्स स्टाल नहीं क्योंकि मॉडल…

प्रमुख विफलता व्यापक अक्षांश और कोई मालिक के साथ एक एजेंट है, जो plausible उत्पादन पैदा करता है कि कोई भी दृश्य ब्रेक तक जांच नहीं करता है।

दूसरी असफलता सूक्ष्म और अधिक आम है: चुप दायरे रेंगना। एक कतार के लिए एक एजेंट का दायरा आसन्न लोगों पर इंगित होने लगता है क्योंकि यह काम करने लगता है, और सीमा की स्थिति जो इसे सुरक्षित बनाती है, अब पकड़ती है। कोई भी इसे विस्तार करने का निर्णय नहीं लेता है; यह बस उपयोग जमा करता है। रक्षा एक अंतरफलक की तरह गुंजाइश को वर्जित करना है, रिकॉर्ड जो कतार इसमें हैं, और एक परिवर्तन के रूप में जोड़ने का इलाज करता है जिसके लिए मूल लॉन्च के समान समीक्षा की आवश्यकता होती है। एक तीसरे विफलता मूल्यांकन बहाव है: एजेंट को साबित करने के लिए इस्तेमाल किए जाने वाले मामलों को शांत अवधि में एकत्र किया गया था, और छह महीने बाद इनपुट ने आकार बदल दिया है जबकि बेंचमार्क नहीं है। मूल्यांकन का हिस्सा प्रत्येक तिमाही को लाइव ट्रैफिक से सेट करता है और मूल विभाजन को बनाए रखता है, इसलिए दोनों की तुलना चुपचाप दूसरे को बदलने के बजाय की जा सकती है।

यह व्यवहार में कैसा दिखता है: अधिकांश एआई एजेंट प्रोग्राम्स स्टाल नहीं क्योंकि मॉडल…

व्यवहार में पहला एजेंट जो आमतौर पर सुस्त होता है। यह संरचित अनुरोध पढ़ता है जो पहले से ही एक कतार में पहुंचता है, उन्हें श्रेणियों के खिलाफ वर्गीकृत करता है कि टीम पहले से ही उपयोग करती है, जो पहले से मौजूद टेम्पलेट्स से प्रतिक्रिया का ड्राफ्ट करती है, और एक नामित व्यक्ति के लिए कुछ भी असामान्य है। यह एक बोर्ड डेमो में प्रभावशाली नहीं है। हालांकि, यह संभव है, measurable, और प्रतिवर्ती है, और यह ऑपरेटिंग सबूत उत्पन्न करता है जो दूसरे और तीसरे एजेंट को फंड करना आसान बनाता है। उन टीमों को जो पांचवें एजेंट को प्राप्त करते हैं, उन्हें अक्सर संकेत देने में बेहतर नहीं मिला; उन्हें सीमा लिखने में बेहतर मिला, और उन्होंने एस्केलेटर नियमों का एक पुस्तकालय जमा किया जो नए काम को विरासत में मिला। यह पुस्तकालय वास्तविक संपत्ति है। यह दर्शाता है कि संगठन ने क्या निर्णय लिया है, यह प्रतिनिधि करने के लिए तैयार है, जो एक तकनीकी के बजाय एक शासन स्थान है, और यह वह हिस्सा है जिसे विक्रेता से खरीदा नहीं जा सकता है।

इसके खिलाफ सबसे मजबूत तर्क: एक एआई एजेंट अपने स्थान को कमाता है जब यह एक प्रतिवर्ती…

सबसे मजबूत आपत्ति यह है कि संकीर्ण scoping क्षमता बर्बाद कर देता है। यदि एक मॉडल पूरे वर्कफ़्लो में कारण बन सकता है, तो इसे एक निर्णय में बाधा डालने से जानबूझकर टेबल पर मूल्य छोड़ दिया जाता है, और अधिक स्वायत्तता देने के इच्छुक प्रतियोगी तेजी से आगे बढ़ेगा। उस तर्क में निचले हिस्से के आंतरिक कार्य में वास्तविक बल होता है जहां त्रुटियां सस्ते और पुनर्प्राप्ति योग्य होती हैं, और टीम ऑपरेटिंग को इस गाइड के सुझाव की तुलना में व्यापक होना चाहिए।

इसमें बहुत कम बल होता है जहां कहीं भी त्रुटि ग्राहक, एक नियामक या एक लेजर तक पहुंचती है। विषमता के मामले: व्यापक स्वायत्तता के ऊपर वृद्धिशील दक्षता है, जबकि डाउनसाइड एक नाम से जुड़ा हुआ है। जिन संगठनों ने सबसे तेजी से विस्तार किया, वे आमतौर पर बहादुर नहीं थे; वे उन डोमेन में काम कर रहे थे जहां गलत होने से बचे थे और उन्हें एक सामान्य पाठ के बजाय इस तरह पढ़ा जाना चाहिए।

30-day कार्यान्वयन अनुक्रम: जिस दर पर एजेंट के आउटपुट को संपादित किए बिना स्वीकार…

एक कतार चुनें, पहले एस्केलेशन नियम लिखें, एजेंट को दो सप्ताह के लिए ड्राफ्ट-केवल मोड में चलाएं, और इसे कार्य करने के लिए किसी भी अधिकार को देने से पहले स्वीकृति दर को मापें।

सप्ताह एक, कार्यप्रवाह साधन के रूप में यह है और मात्रा की एक आधार रेखा पर कब्जा, समय से निपटने, और त्रुटि दर - इस कार्यक्रम के बाद कुछ भी साबित करने के लिए कोई रास्ता नहीं है। सप्ताह दो, एजेंट को छाया में चलाएं: यह उत्पादन करता है, एक व्यक्ति काम करता है, और दोनों की तुलना की जाती है। सप्ताह तीन, ड्राफ्ट-पहले स्विच करें, जहां एजेंट का उत्पादन शुरू होने वाला बिंदु है और प्रत्येक संपादन लॉग किया जाता है। सप्ताह चार, केवल उन श्रेणियों के लिए अधिकार प्रदान करते हैं जहां संपादन दर पहले से ही कम है, और बाकी को ड्राफ्ट में छोड़ दें।

निर्णय लॉग रखें, उपयोग डैशबोर्ड नहीं

प्रत्येक गुंजाइश परिवर्तन के लिए, यह रिकॉर्ड करता है कि एजेंट को पहले क्या करने की अनुमति थी, अब क्या करने की अनुमति है, क्या सबूत परिवर्तन को उचित ठहराया गया है, और कौन ने इसे मंजूरी दे दी थी। दस प्रविष्टियों के बाद लॉग प्रत्येक समीक्षा का उत्तर देता है, अंततः पूछता है - इस प्रणाली को उसके पास अनुमतियों के साथ कैसे समाप्त किया गया है - और यह इसके बजाय तारीखों और नामों के साथ जवाब देता है। उपयोग डैशबोर्ड ऐसा नहीं कर सकते। वे दिखाते हैं कि एजेंट व्यस्त है, जो कि कम से कम दिलचस्प संपत्ति है, जो एक प्रणाली हो सकती है, और वे तेजी से बढ़ने लगते हैं, वास्तव में पल क्षेत्र चुपचाप अपनी समीक्षा को बढ़ा देता है।

Fortnightly की समीक्षा करें जबकि गुंजाइश अभी भी चल रहा है और मासिक एक बार यह बसता है। स्वीकृति दर, संपादित दर, वृद्धि की मात्रा, और घटना की गिनती को एक साथ पढ़ें क्योंकि प्रत्येक को अकेले अच्छा दिखने के लिए बनाया जा सकता है। यदि स्वीकृति बढ़ रही है और अगर यह नहीं है तो एक चेतावनी है - इसका मतलब यह हो सकता है कि मनुष्यों ने जांच करना बंद कर दिया है। जब एक मीट्रिक में सुधार होता है, तो पूछिए कि कौन से तीन वास्तविक रूप में सुधार रिकॉर्ड करने से पहले इसके साथ चले गए।

संपादकीय निष्कर्ष: एक एजेंट कार्यक्रम में दिलचस्प सवाल कभी नहीं रहा है कि…

एक एजेंट कार्यक्रम में दिलचस्प सवाल कभी नहीं रहा है कि क्या मॉडल सक्षम है। यह है कि क्या संगठन राज्य कर सकता है, एक वाक्य में, जिसने निर्णय लिया है और क्या होता है जब वह निर्णय गलत होता है। उस वाक्य को लिखने वाली टीमें जहाज की जाती हैं। टीमें जो अनिश्चित रूप से पायलटों को चलाने की कोशिश नहीं कर सकती हैं, और देरी को एक प्रौद्योगिकी समस्या कहते हैं।