Mở Rộng Hệ Thống Hỗ Trợ Thẻ Giúp Khách Hàng (COTA) Của Uber Với Tính Năng Deep Learning

&#một3;

COTA là sự hợp tác nhiều chức năng giữa Học máy ứng dụng, Nền tảng tương trợ khách hàng của Uber và những nhóm Michelangelo và Uber AI Labs, với sự đóng góp của Piero Molino, Viresh Gehlawat, Yi-Chia Wang, Joseph Wang, Eric Chen, Paul Mikesell, Alex Sergeev , Mike Del Balso, Chintan Shah, Christina Gryên ổnsley, Taj Singh, Jngười nào Malkani, Fran Bell và Jngười nào Ranganathan.

&#một3;

Đầu năm nay, chúng tôi đã giới thiệu hệ thống tương trợ thẻ giúp khách hàng (COTA) của Uber, một dụng cụ tận dụng những kỹ thuật học máy và xử lý tiếng nói tự nhiên (NLP) để đề xuất phản hồi thẻ tương trợ (Loại liên hệ và trả lời) cho những đại lý tương trợ khách hàng, với “Loại liên hệ” là danh mục vấn đề mà thẻ được chỉ định và “Trả lời” những đại lý mẫu sử dụng để phản hồi . Sau lúc tích hợp nó vào Nền tảng tương trợ khách hàng của chúng tôi, COTA vmột đã giảm hơn một0phần trăm thời kì khắc phục thẻ bằng tiếng Anh trong lúc cung ứng nhà cung ứng với mức độ hài lòng của khách hàng tương tự hoặc cao hơn.

Đối với Uber, COTA vmột chỉ là khởi đầu. Trong nỗ lực cải thiện hiệu suất COTA, chúng tôi đã tiến hành những thử nghiệm ngoại tuyến cho thđó khoa sâu (deep learning) tăng độ xác thực dự đoán của Top-một lên một6 phần trăm (từ 49phần trăm tới 65phần trăm) cho mô phỏng Loại liên hệ và 8phần trăm (từ 47phần trăm tới 55 phần trăm) cho mô phỏng Trả lời (để biết thêm chi tiết, vui lòng tham khảo bài viết thẻ KDD của chúng tôi), một kỳ công thực sự với sự phức tạp của những nhiệm vụ này.

Nhận được những kết quả đáng khích lệ này, chúng tôi đã quyết định đưa những mô phỏng học  sâu của mình vào nền tảng học máy trong nội bộ của Uber, Michelangelo. Chúng tôi đã thực hiện điều này bằng nhữngh xây dựng Đường ống học sâu dựa trên Spark (hệ thống xử lý dữ liệu hàng loạt) để tạo ra thế hệ thứ hngười nào của COTA (COTA vhngười nào) bằng nhữngh sử dụng cơ sở vật chất hạ tầng hiện mang của Michelangelo. Do hiệu suất mô phỏng giảm dần theo thời kì, chúng tôi cũng đã xây dựng một đường ống để tự động quản lý mô phỏng và tập huấn lại và giới hạn lưu hành những mô phỏng để luôn cập nhật chúng mọi lúc.

Sau lúc tích hợp với Michelangelo, những thử nghiệm trực tuyến của chúng tôi xác thực rằng hệ thống học sâu COTA vhngười nào hoạt động tốt hơn đáng kể so với hệ thống COTA vmột thẻ những số liệu chính, bao gồm hiệu suất mô phỏng, thời kì xử lý thẻ và sự hài lòng của khách hàng.

Thế hệ trước tiên của COTA: thách thức và thời cơ

Trong lúc COTA vmột tăng tốc độ phân giải thẻ tương trợ, mang hngười nào ngành chính chúng tôi đã xác định để cải thiện. Đầu tiên, COTA vmột đã tiến hành lđó mẫu âm tính theo nhữngh quá phức tạp lúcến cho việc tập huấn những mô phỏng của chúng tôi trở nên khó khăn. Kết hợp với sự phụ thuộc trong những bảng dữ liệu cụ thể, yếu tố này cuối cùng đã lúcến cho việc tập huấn lại COTA trở thành một công việc đáng kể. Mặc dù ko thể ko vượt qua, nhưng mức độ khó khăn của nhiệm vụ đang diễn ra này, theo thời kì, mang thể trở thành sự nản lòng mỗi lúc tiến hành việc bảo trì thường xuyên.

Thứ hngười nào, việc triển khngười nào ban sơ của chúng tôi ko đủ mở rộng để được sử dụng bởi những mô phỏng NLP trong tương lngười nào. Kể từ đó, chúng tôi đã nỗ lực để phát triển trật tự triển khngười nào học tập sâu, mở ra cánh cửa ko chỉ cho những mô phỏng của chúng tôi mà còn cho những người từ tất cả những đội khác tại Uber.

Tại sao lại là “học sâu” ?

Thành công của COTA vmột đã xúc tiến chúng tôi đầu tư thêm vào kho kỹ thuật của mình và khám phá những giải pháp tương trợ khắc phục khác. Phục vụ hơn 600 thành thị trấn trên toàn toàn cầu, tương trợ nhiều tiếng nói và tạo điều kiện cho năm kênh liên lạc, phòng ban tương trợ khách hàng của Uber, tiếp cận khách hàng trên khắp những doanh nghiệp của chúng tôi bao gồm việc san sẻ phương tiện, Uber Eats (ứng dụng vận chuyển thức ăn), xe đạp công cùng và Uber Freight (mô phỏng vận tải). Phạm vi và quy mô kinh doanh của chúng tôi đã làm tăng thêm sự phức tạp to to cho thách thức mà chúng tôi gặp phải. Do đó, số nhữngh phân loại và khắc phục những thẻ tương trợ theo thứ tự hàng nghìn. Ngoài ra, sự tăng trưởng của Uber, đòi hỏi chúng ta phải lặp đi lặp lại với tốc độ chưa từng thđó. Một giải pháp hoạt động ngày hôm nay mang thể ko hoạt động trong một vài tháng nếu chúng ta ko tính tới sự tăng trưởng kinh doanh.

Học sâu đã nhữngh mệnh hóa nhiều ngành như dịch máy, nhận dạng giọng nói, thị giác máy tính và hiểu tiếng nói tự nhiên và đã đạt được hiệu suất ngang bằng hoặc vượt trội so với những chuyên gia thẻ con người trong một số nhiệm vụ nhất định. Ví dụ, những mô phỏng học tập sâu đã vượt trội hơn con người trong một số nhiệm vụ phân loại và nhận hình trạng ảnh. Đối với nhiệm vụ sử dụng hình ảnh võng mạc để phát hiện bệnh mắt tiểu đường, Google đã chỉ ra rằng những thuật toán học sâu thực hiện ngang tầm với những chưng sĩ nhãn khoa. Thành công sắp đây của AlphaGo chứng minh rằng những thuật toán học sâu kết hợp với học tăng cường thậm chí mang thể đánh bại cả những người ctương đối cờ vây người giỏi nhất toàn cầu trong trò ctương đối cờ thường phức tạp nhất của loài người.

Dựa trên những ví dụ này và nhiều hơn nữa, học sâu nhịn nhường như là một lựa chọn tự nhiên cho sự phát triển của COTA vhngười nào. Thật vậy, thông qua những thử nghiệm ngoại tuyến, chúng tôi thđó rằng những mô phỏng học sâu mang thể cung ứng dự đoán độ phân giải thẻ xác thực hơn nhiều so với COTA vmột.

Chuyển sang COTA vhngười nào với “học sâu”

Tóm lại, COTA vmột được xây dựng với những kỹ thuật NLP truyền thống dựa trên mô phỏng hóa chủ đề và kỹ thuật học máy kết hợp những tính năng văn bản, phân loại và số, như trong Hình một (a), bên dưới:

Hình một. (a) Kiến trúc mô phỏng của COTA vmột tận dụng mô phỏng chủ đề, kỹ thuật tính năng kỹ thuật truyền thống và thuật toán xếp hạng theo điểm, trong lúc (b) COTA vhngười nào tương trợ kiến trúc học sâu với hỗn hợp những tính năng đầu vào.

Để trích xuất những tính năng văn bản, Đường ống NLP được xây dựng để xử lý những thông điệp thẻ tới. Mô hình chủ đề (một loại mô phỏng thống kê để khám phá những “chủ đề” trừu tượng xảy ra trong một bộ sưu tập tài liệu) đã được sử dụng để trích xuất tính năng đại diện từ tính năng văn bản. Kỹ thuật tính năng bổ sung đã được sử dụng để tạo ra sự tương tự cosine. Khi mỗi tính năng được thiết kế, tất cả những tính năng được đưa vào thuật toán xếp hạng theo điểm nhị phân để dự đoán những phản hồi Loại liên hệ và Trả lời.

Hình một (b) mô tả kiến trúc học sâu mà chúng tôi đã sử dụng cho COTA vhngười nào. Tính năng văn bản trải qua quá trình tiền xử lý NLP tiêu biểu như làm sạch văn bản và mã thông tin (ko hiển thị) và mỗi từ trong thẻ được mã hóa bằng nhữngh sử dụng một lớp nhúng (ko hiển thị) để chuyển từ thành trình diễn dày đặc chạy tiếp qua những lớp chập mã hóa toàn bộ văn bản. Các tính năng phân loại được mã hóa bằng nhữngh sử dụng một lớp nhúng để nắm bắt sự sắp gũi giữa những loại khác nhau. Các tính năng số được chuẩn hóa hàng loạt để ổn định quá trình tập huấn. Các thử nghiệm ngoại tuyến của chúng tôi cho thđó hệ thống học sâu COTA vhngười nào thực hiện tốt hơn một nhữngh mang hệ thống (cải thiện 8-một6phần trăm) so với COTA vmột cho cả hngười nào nhiệm vụ riêng lẻ là xác định Loại liên hệ hoặc Trả lời độc lập và nhiệm vụ chung là dự đoán Loại liên hệ và Trả lời cùng một lúc.

Hình hngười nào. Các sơ đồ t-SNE mô tả những nhúng được học bởi những mô phỏng học sâu cho a) từ và b) những loại liên hệ.

Hình hngười nào, ở trên, cho thđó phương pháp giảm kích thước (t-SNE) của những phần nhúng mà chúng ta đã học thông qua những mô phỏng học sâu. Ví dụ, trong Hình hngười nào (a), chúng tôi hình dung một số từ khóa dành riêng cho Uber và quan sát thđó rằng “Xe” và “Phương tiện” rất sắp nhau trong việc nhúng biểu đồ t-SNE. Các từ liên quan tới thanh hao toán, chẳng hạn như phí dụng, tín dụng, và giá thẻ, cũng được nhóm lại với nhau trong biểu đồ.

Hình hngười nào (b) biểu thị những nhúng được học cho những loại liên hệ với mỗi điểm dữ liệu tương ứng với một loại liên hệ duy nhất. Các loại liên hệ được mã hóa màu thành ba nhóm chính: Người ngồi xe, Người tài xế, và Người khác (ví dụ: người ăn, nhà hàng, v.v.). Biểu đồ t-SNE cho thđó sự phân nhóm rõ ràng của những loại liên hệ liên quan tới người ngồi và người lái. Những hình dung trực quan này xác nhận rằng mô phỏng đang học những trình diễn hợp lý và gợi ý rằng nó mang khả năng nắm bắt những mối tương quan và kết nối ngữ nghĩa giữa những từ và mối quan hệ giữa những loại liên hệ.

Nói tóm lại, học sâu mang thể cải thiện độ xác thực dự đoán top một của giải pháp lên một6phần trăm (từ 49phần trăm tới 65phần trăm) cho mô phỏng Kiểu liên hệ và 8phần trăm (từ 47phần trăm tới 55phần trăm) cho mô phỏng Trả lời so với COTA vmột , mang thể trực tiếp cải thiện trải nghiệm tương trợ khách hàng.

Những thách thức và giải pháp để triển khngười nào COTA vhngười nào

Do hiệu suất mạnh mẽ của những mô phỏng học sâu trong phân tích ngoại tuyến của chúng tôi, chúng tôi đã quyết định tích hợp hệ thống COTA vhngười nào vào sản xuất. Tuy nhiên, do sự phức tạp của việc tích hợp cả chuyển đổi NLP và tập huấn học tập sâu, cũng như sử dụng một lượng to dữ liệu tập huấn, việc triển khngười nào những mô phỏng học sâu COTA vhngười nào của chúng tôi đi ktrầnm với những thách thức hợp lý.

Trong trường hợp lý tưởng nhất, chúng tôi muốn tận dụng Spark cho những biến đổi NLP theo kiểu phân tán. Tính toán Spark thường được thực hiện bằng nhữngh sử dụng những cụm CPU (bộ xử lý trung tâm – Central Processing Unit). Mặt khác, tập huấn học sâu chạy hiệu quả hơn trên cơ sở vật chất hạ tầng dựa trên GPU (bộ xử lý đồ họa – Graphics Processing Unit). Để khắc phục tính hngười nào mặt này, chúng tôi cần tìm ra nhữngh sử dụng cả chuyển đổi Spark và tập huấn GPU, cũng như xây dựng một Đường ống thống nhất để tập huấn và phục vụ mô phỏng học sâu.

Một thách thức khác mà chúng tôi đã khắc phục là xác định nhữngh duy trì sự mới mẻ của mô phỏng dựa trên tính chất năng động của hoạt động kinh doanh Uber. Để khắc phục vấn đề này, một đường ống dẫn là cần thiết để thường xuyên tập huấn lại và triển khngười nào lại những mô phỏng.

Để khắc phục thử thách trước tiên, chúng tôi đã xây dựng một đường ống học sâu dữ liệu Spark (DLSP) học tập sâu để tận dụng cả Spark cho những biến đổi NLP và GPU để tập huấn học sâu. Đối với thử thách thứ hngười nào, chúng tôi đã tích hợp một dụng cụ lập lịch công việc nội bộ và xây dựng Đường ống mô phỏng quản lý vòng đời (MLMP) trên DLSP, cho phép chúng tôi lên lịch và chạy từng công việc với tần suất cần thiết. Hngười nào đường ống này cho phép chúng tôi ko chỉ tập huấn và triển khngười nào những mô phỏng học tập sâu vào hệ thống sản xuất Uber, mà còn tập huấn lại và làm mới những mô phỏng để giữ cho chúng hoạt động tốt nhất

Trong hngười nào phần tiếp theo, chúng ta sẽ thảo luận thẻ  hngười nào đường ống chi tiết hơn.

COTA vhngười nào dựa trên phố ống học sâu dữ liệu Spark

Khi thiết kế DLSP, chúng tôi muốn phân công nhiệm vụ cho CPU và GPU dựa trên phần cứng nào sẽ hiệu quả nhất. Xác định đường ống thành hngười nào gingười nào đoạn, một cho xử lý trước Spark và một cho học sâu, nhịn nhường như là nhữngh tốt nhất để phân bổ tải công việc. Bằng nhữngh mở rộng khái niệm thẻ Spark Pipeline (Đường ống Spark), chúng tôi mang thể phục vụ những mô phỏng cho cả nhà cung ứng dự đoán theo đợt và dự đoán thời kì thực bằng cơ sở vật chất hạ tầng hiện mang của chúng tôi.

Đào tạo

Đào tạo mô phỏng được chia thành hngười nào gingười nào đoạn, như trong Hình 3 (a), bên dưới:

  1. Biến đổi tiền xử lý bằng Spark: Chúng tôi tận dụng những cụm Spark to để thực hiện xử lý trước dữ liệu và thích hợp với những biến đổi cần thiết cho ccô đầu tạo và phục vụ. Tất cả những biến đổi được thực hiện trên dữ liệu trong quá trình tiền xử lý được lưu dưới dạng biến áp Spark, sau đó được sử dụng để xây dựng Đường ống Spark cho quá trình phục vụ. Quá trình tiền xử lý phân tán trong cụm Spark nhanh hao hơn nhiều so với tiền xử lý dữ liệu trên một máy GPU nút đơn. Chúng tôi tính toán cả những phép biến đổi được trang bị (những phép biến đổi yêu cầu dữ liệu vững bền, ví dụ: String Indexer) và những phép biến đổi ko được trang bị (ví dụ: làm sạch những thẻ HTML từ những chuỗi, v.v.) trong cụm Spark.
  2. Đào tạo học sâu bằng nhữngh sử dụng TensorFlow (thư viện phần mềm mã nguồn mở): Sau lúc quá trình tiền xử lý từ bước (một) hoàn thành, chúng tôi tận dụng dữ liệu được tiền xử lý trước để tập huấn mô phỏng học sâu bằng nhữngh sử dụng TensorFlow. Mô hình được tập huấn từ gingười nào đoạn này sau đó được thống nhất với đường ống Spark (Spark Pipeline) được tạo ở bước (một). Điều này tạo ra Spark Pipeline cuối cùng bao gồm những máy biến áp tiền xử lý và mô phỏng TensorFlow, mang thể được sử dụng để chạy dự đoán. Chúng tôi mang thể kết hợp Đường ống Spark với mô phỏng TensorFlow bằng nhữngh triển khngười nào một loại máy biến áp đặc thù mang tên là TFTransformer, đưa mô phỏng TensorFlow vào Spark. Điều quan yếu cần lưu ý là vì tất cả những Spark Transformers đều được tương trợ bởi những triển khngười nào Java, nên bộ chuyển đổi màn hình LCD mang mẫu này.

Hình 3. Chúng tôi đã xây dựng một kiến trúc Spark Pipeline học sâu cho a) những mô phỏng tập huấn và b) phục vụ những yêu cầu.

Phục vụ

Hình 3 (b) mô tả nhữngh chúng tôi phục vụ mô phỏng được tập huấn bằng nhữngh sử dụng Spark Pipeline học sâu cho cả nhà cung ứng dự đoán theo đợt và nhà cung ứng dự đoán thời kì thực. Đường ống Spark được xây dựng từ tập huấn chứa cả máy biến áp tiền xử lý và biến đổi TensorFlow. Chúng tôi đã mở rộng Michelangelo để tương trợ phục vụ Spark Pipelines chung và sử dụng cơ sở vật chất hạ tầng triển khngười nào và để phục vụ mô phỏng học tập sâu. Đường ống được sử dụng để phục vụ chạy trên Máy ảo Java (JVM – Java Virtual Machine). Hiệu suất chúng ta thđó trong lúc phục vụ mang độ trễ p95 <một0ms, điều này cho thđó lợi thế của độ trễ thấp lúc sử dụng cơ sở vật chất hạ tầng phục vụ JVM hiện mang cho những mô phỏng học sâu. Bằng nhữngh mở rộng Spark Pipelines để đóng gói những mô phỏng học sâu, chúng tôi mang thể tận dụng tốt nhất cả toàn cầu CPU và GPU: một) tính toán phân tán những biến đổi Spark và phục vụ Spark Pipelines mang độ trễ thấp bằng CPU và hngười nào) tăng tốc tập huấn mô phỏng học tập sâu sử dụng GPU.

Quản lý vòng đời của mô phỏng Đường ống: giữ cho những mô phỏng luôn mới

Để ngăn hiệu suất mô phỏng COTA vhngười nào bị phân rã theo thời kì, chúng tôi đã xây dựng Đường ống quản lý vòng đời mô phỏng (MLMP) trên DLSP của chúng tôi. Cụ thể, chúng tôi đã tận dụng dụng cụ lập lịch công việc nội bộ của Uber – Piper để xây dựng Đường ống đầu cuối để tập huấn lại và triển khngười nào lại những mô phỏng của chúng tôi với tần suất một mực.

Hình 4. Đường ống quản lý vòng đời mô phỏng của chúng tôi bao gồm sáu công việc, bao gồm Data ETL, Spark Transformations và Model Merging.

Hình 4, ở trên, mô tả dòng chảy của đường ống này. Tổng cùng mang sáu công việc, nó sử dụng những API (Application Programming Interface – giao diện lập trình ứng dụng)  hiện mang từ Michelangelo để tập huấn lại mô phỏng. Các công việc này tạo thành một biểu đồ chu kỳ mang hướng (DAG) với sự phụ thuộc được chỉ định bởi những mũi tên:

  1. Dữ liệu ETL (Extract Transform Load – quá trình làm thế nào dữ liệu được đưa vào từ những nguồn dữ liệu vào kho dữ liệu): Điều này liên quan tới việc viết một trích xuất dữ liệu, chuyển đổi cơ bản và tải công việc (ETL) để chuẩn bị dữ liệu. Nó thường lđó dữ liệu từ một số nguồn dữ liệu khác nhau, chuyển đổi nó thành định dạng đúng và đưa nó vào cơ sở vật chất dữ liệu Hive
  2. Chuyển đổi Spark: Bước này chuyển đổi dữ liệu thô (văn bản, phân loại, số, v.v.) thành định dạng Tensor để nó mang thể được sử dụng bởi biểu đồ TensorFlow cho tập huấn mô phỏng. Việc chuyển đổi cơ bản sử dụng động cơ Spark – Spark Engine –  thông qua Michelangelo theo kiểu điện toán phân tán. Các máy biến áp được lưu vào một shop mô phỏng.
  3. Truyền dữ liệu: Các cụm máy tính mang CPU thực hiện những phép biến đổi Spark. Đào tạo học sâu đòi hỏi GPU để tăng tốc tiến độ. Do đó, chúng tôi chuyển dữ liệu đầu ra từ Bước hngười nào sang cụm GPU.
  4. Đào tạo học tập sâu: Một lúc dữ liệu được chuyển tới những cụm GPU. Công việc ở đây là kích hoạt để mở một phiên GPU với bộ chứa Docker tùy chỉnh và khởi đầu quá trình tập huấn học tập sâu. Sau lúc tập huấn xong, một tệp mô phỏng TensorFlow được lưu vào kho lưu trữ mô phỏng.
  5. Sáp nhập mô phỏng: Các máy biến áp Spark từ Bước hngười nào và mô phỏng TensorFlow từ Bước 4 được thống nhất để tạo thành mô phỏng cuối cùng.
  6. Triển khngười nào mô phỏng: Mô hình cuối cùng được triển khngười nào và model_id được tạo như một tham chiếu tới mô phỏng mới được triển khngười nào. Các nhà cung ứng siêu nhỏ bên ngoài mang thể đạt điểm cuối bằng nhữngh sử dụng sườn phục vụ của Thrift bằng nhữngh tham chiếu model_id.

Kiểm tra trực tuyến: COTA vmột so với COTA vhngười nào

Để xác thực hiệu suất của những mô phỏng học sâu COTA vhngười nào mà chúng tôi đã quan sát ngoại tuyến, chúng tôi đã thực hiện rà soát trực tuyến trước lúc triển khngười nào hệ thống.

Chiến lược thử nghiệm

Để ngăn ngừa sngười nào lệch lđó mẫu mang sẵn, chúng tôi đã tiến hành thử nghiệm A / A trước lúc chúng tôi bật thử nghiệm A / B, như trong Hình 5 bên dưới:

(Thử nghiệm A / A là chiến thuật sử dụng thử nghiệm A / B để thử nghiệm hngười nào phiên bản y sì nhau của một trang với nhau. Thử nghiệm A / B, còn được gọi là thử nghiệm phân tích hoặc thử nghiệm xô – split testing or bucket testing – là phương pháp so sánh hngười nào phiên bản của trang web hoặc ứng dụng với nhau để xác định phiên bản nào hoạt động tốt hơn).

Hình 5. Chiến lược thử nghiệm tổng thể để so sánh những hệ thống COTA vmột và COTA vhngười nào.

Trong cả hngười nào thử nghiệm A / A và A / B, thẻ tương trợ được phân ngẫu nhiên vào những nhóm kiểm soát và điều trị dựa trên mức chia 50/50. Trong gingười nào đoạn thử nghiệm A / A, cả hngười nào nhóm kiểm soát và điều trị đều nhận được dự đoán từ cùng một mô phỏng COTA vmột. Trong lúc ở gingười nào đoạn thử nghiệm A / B, nhóm điều trị được phục vụ bởi những mô phỏng học tập sâu COTA vhngười nào.

Các kết quả

Chúng tôi đã chạy thử nghiệm A / A trong một tuần và thử nghiệm A / B từ một tháng. Hình 6, bên dưới, mô tả hngười nào số liệu chính mà chúng tôi theo dõi: độ xác thực của mô phỏng (chúng tôi sử dụng mô phỏng Loại liên hệ làm ví dụ ở đây) và thời kì xử lý trung phân bình trên mỗi thẻ. Như được hiển thị trong Hình 6 (a), ko mang sự khác biệt thẻ hiệu suất mô phỏng trong gingười nào đoạn thử nghiệm A / A, trong lúc mang một bước nhảy to sau lúc chúng tôi bật thử nghiệm A / B. Những kết quả này xác nhận rằng hệ thống học sâu của COTA vhngười nào cung ứng những giải pháp xác thực hơn cho những đại lý so với COTA vmột.

Thời gian xử lý trung phân bình trên mỗi thẻ thấp hơn nhiều đối với nhóm điều trị trong suốt gingười nào đoạn thử nghiệm A / B, như trong Hình 6 (b). Một quan sát bổ sung từ Hình 6 (a) là hiệu suất mô phỏng giảm dần theo thời kì, nêu bật sự cần thiết của quản lý mô phỏng Đường ống MLMP được hiển thị trong Hình 5. (Lưu ý: để đảm bảo tính nhất quán, chúng tôi đã ko tập huấn lại những mô phỏng trong suốt quá trình thí nghiệm).

Thử nghiệm trực tuyến của chúng tôi một lần nữa chứng minh rằng việc cung ứng đủ dữ liệu tập huấn cho những mô phỏng học sâu COTA vhngười nào của chúng tôi mang thể vượt trội hơn đáng kể so với những mô phỏng học máy cổ điển COTA vmột.

Hình 6. Các số liệu chính từ rà soát trực tuyến: a) độ xác thực của mô phỏng và b) thời kì xử lý trung phân bình trong cả hngười nào thử nghiệm A / A và A / B trên cơ sở vật chất hàng ngày.

Một phân tích thống kê cho thđó trong quá trình thử nghiệm A / A ko mang sự khác biệt mang ý nghĩa thống kê giữa thời kì xử lý trung phân bình của những nhóm kiểm soát và điều trị, trong lúc mang sự khác biệt mang ý nghĩa thống kê trong thử nghiệm A / B. Đây là mức giảm tương đối 6,6phần trăm, tăng tốc thời kì khắc phục thẻ và cải thiện tính xác thực của những đề xuất khắc phục thẻ của chúng tôi. Ngoài ra, chúng tôi cũng đã đo điểm hài lòng của khách hàng và nhận thđó sự cải thiện nhẹ do sử dụng COTA vhngười nào.

Ngoài việc cải thiện trải nghiệm tương trợ khách hàng, COTA vhngười nào cũng sẽ tiết kiệm cho đơn vị hàng triệu USD mỗi năm bằng nhữngh hợp lý hóa trật tự khắc phục thẻ tương trợ.

Bước tiếp theo

Với hiệu suất mạnh mẽ của những mô phỏng học sâu của chúng tôi trong COTA vhngười nào, chúng tôi dự kiến sẽ sử dụng dự đoán loại vấn đề trong tương lngười nào để xác định đại lý tương trợ khách hàng nào định tuyến một thẻ nhất định, vì những đại lý đó thường mang chuyên môn thẻ một loại vấn đề cụ thể. Những cập nhật này sẽ tăng khả năng chúng tôi xác định đúng đại lý để khắc phục một thẻ trong lần định tuyến trước tiên, cải thiện hiệu quả của toàn bộ hệ thống tương trợ thẻ.

Chúng tôi cũng đang xem xét những tính năng cho phép chúng tôi phản hồi nhanh hao hơn với những thẻ chỉ yêu cầu thông tin, ví dụ: những thẻ đặt ra thắc mắc như làm nhữngh nào để cập nhật ảnh đại diện Uber của tôi? thông tin (hướng dẫn trong trường hợp này). Đây mang thể chỉ là một tập hợp trẻ em của một vài phần trăm của tất cả những thẻ tương trợ khách hàng, nhưng mang thể được COTA vhngười nào khắc phục tự động mà ko cần sự gisát hại của đại lý. Hợp lý hóa những phản ứng tĩnh này sẽ giúp khách hàng tiết kiệm thời kì và trao quyền cho những đại lý tập trung vào những thẻ thách thức hơn, cung ứng nhà cung ứng chăm sóc khách hàng tốt hơn.

News Reporter

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *