利用Python,我们可以实现很多目标,比如说建立一个你专属的聊天机器人程序。聊天机器人程序不光满足个人需求,它对商业组织和客户都非常有帮助。大多数人喜欢直接通过聊天室交谈,而不是打电话给服务中心。
利用Python,我们可以实现很多目标,比如说建立一个你专属的聊天机器人程序。
聊天机器人程序不光满足个人需求,它对商业组织和客户都非常有帮助。大多数人喜欢直接通过聊天室交谈,而不是打电话给服务中心。
Facebook发布的数据证明了机器人的价值。每月有超过20亿条信息在人和公司之间发送。HubSpot的研究显示,71%的人希望从信息应用程序获得客户支持。这是解决问题的快速方法,因此聊天机器人在组织中有着光明的未来。
今天要做的是在Chatbot上建立一个令人兴奋的项目。从零开始完成一个聊天机器人,它将能够理解用户正在谈论的内容并给出适当的回应。
先决条件
为了实现聊天机器人,将使用一个深度学习库Keras,一个自然语言处理工具包NLTK,以及一些有用的库。运行以下命令以确保安装了所有库:
- pipinstalltensorflowkeraspicklenltk
聊天机器人是如何工作的?
聊天机器人只是一个智能软件,可以像人类一样与人互动和交流。很有趣,不是吗?现在来看看它们是如何工作的。
所有聊天机器人都基于自然语言处理(NLP)概念。NLP由两部分组成:
- NLU(自然语言理解):机器理解人类语言(如英语)的能力。
- NLG(自然语言生成):机器生成类似于人类书面句子的文本的能力。
想象一个用户问聊天机器人一个问题:“嘿,今天有什么新闻?”
该聊天机器人就会将用户语句分解为两个部分:意图和实体。这句话的目的可能是获取新闻,因为它指的是用户希望执行的操作。实体告诉了关于意图的具体细节,所以“今天”将是实体。因此,这里使用机器学习模型来识别聊天的意图和实体。
项目文件结构
项目完成后,将留下所有这些文件。快速浏览每一个。它将给开发员一个如何实施该项目的想法。
- Train_chatbot.py-在本文件中,构建和训练深度学习模型,该模型可以分类和识别用户向机器人提出的要求。
- Gui_Chatbot.py-这个文件是构建图形用户界面用来与训练后的聊天机器人聊天的地方。
- Intents.json-Intents文件包含将用于训练模型的所有数据。它包含一组标记及其相应的模式和响应。
- Chatbot_model.h5-这是一个分层数据格式文件,其中存储了训练模型的权重和体系结构。
- Classes.pkl-pickle文件可用于存储预测消息时要分类的所有标记名。
- Words.pkl-Words.pklpickle文件包含模型词汇表中的所有唯一单词。
下载源代码和数据集:
mailto:https://drive.google.com/drive/folders/1r6MrrdE8V0bWBxndGfJxJ4Om62dJ2OMP?usp=sharing
如何建立自己的聊天机器人?
笔者将这个聊天机器人的构建简化为5个步骤:
第一步:导入库并加载数据
创建一个新的python文件并将其命名为train_chatbot,然后导入所有必需的模块。之后,从Python程序中读取JSON数据文件。
- importnumpyasnp
- fromkeras.modelsimportSequential
- fromkeras.layersimportDense,Activation,Dropout
- fromkeras.optimizersimportSGD
- importrandom
- importnltk
- fromnltk.stemimportWordNetLemmatizer
- lemmatizer=WordNetLemmatizer()
- importjson
- importpickle
- intents_file=open('intents.json').read()
- intents=json.loads(intents_file)
第二步:数据预处理
模型无法获取原始数据。为了使机器容易理解,必须经过许多预处理。对于文本数据,有许多预处理技术可用。第一种技术是标记化,把句子分解成单词。
通过观察intents文件,可以看到每个标记包含模式和响应的列表。标记每个模式并将单词添加到列表中。另外,创建一个类和文档列表来添加与模式相关的所有意图。
- words=[]
- classes=[]
- documents=[]
- ignore_letters=['!','?',',','.']
- forintentinintents['intents']:
- forpatterninintent['patterns']:
- #tokenizeeachword
- word=nltk.word_tokenize(pattern)
- words.extend(word)
- #adddocumentsinthecorpus
- documents.append((word,intent['tag']))
- #addtoourclasseslist
- ifintent['tag']notinclasses:
- classes.append(intent['tag'])
- print(documents)
另一种技术是词形还原。我们可以将单词转换成引理形式,这样就可以减少所有的规范单词。例如,单词play、playing、playing、played等都将替换为play。这样,可以减少词汇表中的单词总数。所以将每个单词进行引理,去掉重复的单词。
- #lemmaztizeandlowereachwordandremoveduplicates
- words=[lemmatizer.lemmatize(w.lower())forwinwordsifwnotinignore_letters]
- words=sorted(list(set(words)))
- #sortclasses
- classes=sorted(list(set(classes)))
- #documents=combinationbetweenpatternsandintents
- print(len(documents),"documents")
- #classes=intents
- print(len(classes),"classes",classes)
- #words=allwords,vocabulary
- print(len(words),"uniquelemmatizedwords",words)
- pickle.dump(words,open('words.pkl','wb'))
- pickle.dump(classes,open('classes.pkl','wb'))
最后,单词包含了项目的词汇表,类包含了要分类的所有实体。为了将python对象保存在文件中,使用pickle.dump()方法。这些文件将有助于训练完成后进行预测聊天。
第三步:创建训练集和测试集
为了训练模型,把每个输入模式转换成数字。首先,对模式中的每个单词进行引理,并创建一个长度与单词总数相同的零列表。只将值1设置为那些在模式中包含单词的索引。同样,将1设置为模式所属的类输入,来创建输出。
- #createthetrainingdata
- training=[]
- #createemptyarrayfortheoutput
- output_empty=[0]*len(classes)
- #trainingset,bagofwordsforeverysentence
- fordocindocuments:
- #initializingbagofwords
- bag=[]
- #listoftokenizedwordsforthepattern
- word_patterns=doc[0]
- #lemmatizeeachword-createbaseword,inattempttorepresentrelatedwords
- word_patterns=[lemmatizer.lemmatize(word.lower())forwordinword_patterns]
- #createthebagofwordsarraywith1,ifwordisfoundincurrentpattern
- forwordinwords:
- bag.append(1)ifwordinword_patternselsebag.append(0)
- #outputisa'0'foreachtagand'1'forcurrenttag(foreachpattern)
- output_row=list(output_empty)
- output_row[classes.index(doc[1])]=1
- training.append([bag,output_row])
- #shufflethefeaturesandmakenumpyarray
- random.shuffle(training)
- training=np.array(training)
- #createtrainingandtestinglists.X-patterns,Y-intents
- train_x=list(training[:,0])
- train_y=list(training[:,1])
- print("Trainingdataiscreated")
第四步:训练模型
该模型将是一个由3个密集层组成的神经网络。第一层有128个神经元,第二层有64个,最后一层的神经元数量与类数相同。为了减少模型的过度拟合,引入了dropout层。使用SGD优化器并对数据进行拟合,开始模型的训练。在200个阶段的训练完成后,使用Kerasmodel.save(“chatbot_model.h5”)函数保存训练的模型。
- #deepneuralnetwordsmodel
- model=Sequential()
- model.add(Dense(128,input_shape=(len(train_x[0]),),activation='relu'))
- model.add(Dropout(0.5))
- model.add(Dense(64,activation='relu'))
- model.add(Dropout(0.5))
- model.add(Dense(len(train_y[0]),activation='softmax'))
- #Compilingmodel.SGDwithNesterovacceleratedgradientgivesgoodresultsforthismodel
- sgd=SGD(lr=0.01,decay=1e-6,momentum=0.9,nesterov=True)
- model.compile(loss='categorical_crossentropy',optimizer=sgd,metrics=['accuracy'])
- #Trainingandsavingthemodel
- hist=model.fit(np.array(train_x),np.array(train_y),epochs=200,batch_size=5,verbose=1)
- model.save('chatbot_model.h5',hist)
- print("modeliscreated")
第五步:与聊天机器人互动
模型已经准备好聊天了,现在在一个新文件中为聊天机器人创建一个很好的图形用户界面。可以将文件命名为gui_chatbot.py
在GUI文件中,使用Tkinter模块构建桌面应用程序的结构,然后捕获用户消息,并在将消息输入到训练模型之前,再次执行一些预处理。
然后,模型将预测用户消息的标签,从intents文件的响应列表中随机选择响应。
这是GUI文件的完整源代码。
- importnltk
- fromnltk.stemimportWordNetLemmatizer
- lemmatizer=WordNetLemmatizer()
- importpickle
- importnumpyasnp
- fromkeras.modelsimportload_model
- model=load_model('chatbot_model.h5')
- importjson
- importrandom
- intents=json.loads(open('intents.json').read())
- words=pickle.load(open('words.pkl','rb'))
- classes=pickle.load(open('classes.pkl','rb'))
- defclean_up_sentence(sentence):
- #tokenizethepattern-splittingwordsintoarray
- sentence_words=nltk.word_tokenize(sentence)
- #stemmingeveryword-reducingtobaseform
- sentence_words=[lemmatizer.lemmatize(word.lower())forwordinsentence_words]
- returnsentence_words
- #returnbagofwordsarray:0or1forwordsthatexistinsentence
- defbag_of_words(sentence,words,show_details=True):
- #tokenizingpatterns
- sentence_words=clean_up_sentence(sentence)
- #bagofwords-vocabularymatrix
- bag=[0]*len(words)
- forsinsentence_words:
- fori,wordinenumerate(words):
- ifword==s:
- #assign1ifcurrentwordisinthevocabularyposition
- bag[i]=1
- ifshow_details:
- print("foundinbag:%s"%word)
- return(np.array(bag))
- defpredict_class(sentence):
- #filterbelowthresholdpredictions
- p=bag_of_words(sentence,words,show_details=False)
- res=model.predict(np.array([p]))[0]
- ERROR_THRESHOLD=0.25
- results=[[i,r]fori,rinenumerate(res)ifr>ERROR_THRESHOLD]
- #sortingstrengthprobability
- results.sort(key=lambdax:x[1],reverse=True)
- return_list=[]
- forrinresults:
- return_list.append({"intent":classes[r[0]],"probability":str(r[1])})
- returnreturn_list
- defgetResponse(ints,intents_json):
- tag=ints[0]['intent']
- list_of_intents=intents_json['intents']
- foriinlist_of_intents:
- if(i['tag']==tag):
- result=random.choice(i['responses'])
- break
- returnresult
- #CreatingtkinterGUI
- importtkinter
- fromtkinterimport*
- defsend():
- msg=EntryBox.get("1.0",'end-1c').strip()
- EntryBox.delete("0.0",END)
- ifmsg!='':
- ChatBox.config(state=NORMAL)
- ChatBox.insert(END,"You:"+msg+'\n\n')
- ChatBox.config(foreground="#446665",font=("Verdana",12))
- ints=predict_class(msg)
- res=getResponse(ints,intents)
- ChatBox.insert(END,"Bot:"+res+'\n\n')
- ChatBox.config(state=DISABLED)
- ChatBox.yview(END)
- root=Tk()
- root.title("Chatbot")
- root.geometry("400x500"
- root.resizable(width=FALSE,height=FALSE)
- #CreateChatwindow
- ChatBox=Text(root,bd=0,bg="white",height="8",width="50",font="Arial",)
- ChatBox.config(state=DISABLED)
- #BindscrollbartoChatwindow
- scrollbar=Scrollbar(root,command=ChatBox.yview,cursor="heart")
- ChatBox['yscrollcommand']=scrollbar.set
- #CreateButtontosendmessage
- SendButton=Button(root,font=("Verdana",12,'bold'),text="Send",width="12",height=5,
- bd=0,bg="#f9a602",activebackground="#3c9d9b",fg='#000000',
- command=send)
- #Createtheboxtoentermessage
- EntryBox=Text(root,bd=0,bg="white",width="29",height="5",font="Arial")
- #EntryBox.bind("<Return>",send)
- #Placeallcomponentsonthescreen
- scrollbar.place(x=376,y=6,height=386)
- ChatBox.place(x=6,y=6,height=386,width=370)
- EntryBox.place(x=128,y=401,height=90,width=265)
- SendButton.place(x=6,y=401,height=90)
- root.mainloop()
运行聊天机器人
现在有两个独立的文件,一个是train_chatbot.py,首先使用它来训练模型。
- pythontrain_chatbot.py
快来试试吧~
©本文为清一色官方代发,观点仅代表作者本人,与清一色无关。清一色对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。本文不作为投资理财建议,请读者仅作参考,并请自行承担全部责任。文中部分文字/图片/视频/音频等来源于网络,如侵犯到著作权人的权利,请与我们联系(微信/QQ:1074760229)。转载请注明出处:清一色财经