블로그 이미지
* Microsoft MVP - Windows Development 2014 ~ 2020 http://youtube.com/FutureOfDotNet kaki104

카테고리

List All (598)
Visual Studio (6)
Blazor (2)
Windows App(Universa.. (97)
Xamarin Forms (4)
Bot Framework (19)
Azure (9)
Windows 10 (52)
WPF (7)
Facebook News & Tips (158)
Windows 8&8.1 (113)
Windows Phone 8 (42)
Silverlight (37)
HTML5 & MVC4 (16)
Portable Class Library (2)
Uncategorised Tips a.. (3)
Kinect for Windows (2)
ETC (12)
kaki104 Scrap (4)
App News (11)
Total541,751
Today8
Yesterday67


나만의 AI Speaker 만들기


라즈베리파이, UWP, Microsoft Azure 서비스를 이용해서 한글을 지원하는 AI Speaker를 만드는 과정을 설명드릴려고 합니다.

총 9개의 동영상으로 구성할 예정입니다.



PDF 등록했습니다!!

AISpeaker.pdf



Part1

. Smart Speaker, AI Speaker란
. AI Speaker 종류(국내, 해외)
. AI Speaker 관련 기사 및 사이트
. System diagram
. Microsoft Harman Kardon Invoke with Cortana
. Microsoft Suface Headphone
. 준비물

. Part1 동영상 바로가기



Part2

. Bot 생성 및 배포
. NuGet packages설치
. Azure에 Publish
. Channel 생성 및 연결
. DirectLine 추가
. Bot 연결 테스트
. Part2 동영상 바로가기


. Part2까지 소스 - 모든 개발이 완료되면 전체 소스를 Git에 업로드하도록 하겠습니다.

KakiAISpeaker.Bot_part2.zip



Part3

. 클라이언트 프로젝트 추가
. NuGet packages 추가
. MainPage.xaml 코드 추가
. MainViewModel.cs 코드 추가
- DirectLineClient 생성 및 연결
- WebSocketClient 연결
. 클라이언트 실행해서 연결 테스트

- Part3 동영상 바로가기




. 모든 개발이 완료되면 전체 소스를 Git에 업로드하도록 하겠습니다.

KakiAISpeaker_part3.zip



Part4

* Client 
. 음성 인식 기능 추가
. SRGS.xml 파일 추가
. Direct Line을 이용해서 start 메시지 전달
* Bot
. start 메시지 수신 후 start conversation 메시지 회신

- Part4 동영상 바로가기




. 모든 개발이 완료되면 전체 소스를 Git에 업로드하도록 하겠습니다.

KakiAISpeaker_part4.zip


yj님께서 달아주신 댓글입니다.


Client의 MainViewModel.cs에 있는 코드

//음성 인식 초기화 - 한글을 지원하지 않기 때문에 영문으로 인식하도록 함

var supportedLanguages = SpeechRecognizer.SupportedGrammarLanguages;

var enUS = supportedLanguages.FirstOrDefault(p => p.LanguageTag == "en-US")

?? SpeechRecognizer.SystemSpeechLanguage;

await InitializeRecognizerAsync(enUS); //enUS가 계속 null이라고 안되는데 잘모르겠어요..ㅠ


혹시 고민하실까봐 댓글 달아 둡니다.

null뜬 이유는 window설정을 미국?이나 영어권으로 해야되는 것 같더라고요.

혹시나 모르실분들을 위해서 추가해주면 좋을 것 같습니다^^



Part5
음성명령 녹음하고 전송하기
- 녹음을 위한 MicrophoneHelper추가
- 녹음 시작, 끝내기
- 사용자 음성인지 확인하기
- 저장된 음성 파일 Bot에 전송하기

* ClientStates를 이용한 제어 개요
* ClientStates 변화과정과 관련 소스 살펴보기

- Part5 동영상 바로가기



KakiAISpeaker_part5.zip



Part6

건강이 나빠져서 동영상 제작이 좀 늦어졌습니다. 다음편은 빨리 올리도록 하겠습니다.


* 서비스 추가하기
- Azure
    . Speech Service 추가
    . Storage 추가
- AWS
    . Polly Service 추가
- Part6 동영상 바로 가기



Part7


- 수신된 음성 명령 확인
- Speech Service 헬퍼 추가, 인증 클래스 추가
- Polly Service 헬퍼 추가
- Blob Service 헬퍼 추가
- 결과 클라이언트에 반환하기
- appsetting.json에 키 값 사용하기
- Microsoft.Extension.Http nuget 사용하기

** 소스 : https://github.com/kaki104/KakiAISpeaker

- Part7 : 동영상 바로 가기


Part8

Part9



2019-04-17 업데이트


Visual Studio 2019 기준으로 스크린샷을 다시 만들었습니다.



설치를 완료하기 위해서는 Visual Studio 2019를 재시작 해야합니다.


설치완료 후 Visual Studio 2019를 시작하시고, 시작 창에서 Create a new project를 선택하시고 bot으로 검색을 하시면 아래와 같은 프로젝트 목록을 보실 수 있습니다. 여기서 EchoBot을 선택하시면 될 것 같습니다.



프로젝트 생성 후 IIS로 실행하기를 하니 정상적으로 봇 프로젝트가 실행되는 것을 확인했습니다.

참고하세요


Posted by MVP kaki104

댓글을 달아 주세요

  1. 2019.03.30 20:05  댓글주소  수정/삭제  댓글쓰기

    비밀댓글입니다

    • 2019.04.01 22:10 신고 MVP kaki104  댓글주소  수정/삭제

      문의하신 내용에 헤더 파일을 읽어 오지 못한다고 하시는 걸 봐서는 c++인 것 같습니다. 제가 c++을 못해서 정확한 내용은 알기가 힘드네요, 에러메시지(영문)과 툴체인과 크로스컴파일러를 설치하라는 검색 결과의 링크를 알려주시면 찾아 보도록 하겠습니다.

  2. 2019.04.11 11:38  댓글주소  수정/삭제  댓글쓰기

    비밀댓글입니다

  3. 2019.05.08 11:59  댓글주소  수정/삭제  댓글쓰기

    비밀댓글입니다

    • 2019.05.08 12:11 신고 MVP kaki104  댓글주소  수정/삭제

      메모리가 부족해서 생기는 문제는 아닌것 같습니다.
      Visual Studio 2019 커뮤니티 버전으로 작업하신 것인지 다시 확인해주시고,
      템플릿 설치가 완료되었는지도 확인해 주시고, Extensions은 Visual Studio를 종료해야지만, 설치 메시지 창이 출력되니, 종료하시고 설치 확인시 예~를 눌러주시고, 다시 비주얼 스튜디오를 실행해서 확인해 주세요.

    • 2019.05.08 12:14 신고 MVP kaki104  댓글주소  수정/삭제

      이레저레 확인해도 이상이 없다면, 윈도우부터 새로 설치하고 비주얼스튜디오를 다시 설치하는 방법도 고려해 보면 좋을 것 같습니다. ;;;

  4. 2019.05.08 15:34  댓글주소  수정/삭제  댓글쓰기

    비밀댓글입니다

    • 2019.05.09 16:05 신고 MVP kaki104  댓글주소  수정/삭제

      음 될 수 있으면 Visual Studio 2019 버전을 사용하시기를 권장합니다. 현재 MS Build 2019 행사가 끝나서 대부분의 오픈 소스들이 Visual Studio 2019버전에 맞춰서 수정이 되어 있는 상태라 그럴 수도 있을 것 같기 때문입니다.

    • 2019.05.09 16:12 신고 MVP kaki104  댓글주소  수정/삭제

      그리고 될 수 있으면 영문 오류 메시지를 알려주시면 제가 좀더 구체적인 방법을 알려드릴 수 있을 것 같습니다.

      윈도우를 영어를 기본 언어로하고, 비주얼 스튜디오의 언어도 영문으로 하면 오류 메시지가 영어로 나옵니다.

  5. 2019.11.22 02:51  댓글주소  수정/삭제  댓글쓰기

    비밀댓글입니다

  6. 2019.11.23 18:37  댓글주소  수정/삭제  댓글쓰기

    비밀댓글입니다

    • 2019.11.26 22:03 신고 MVP kaki104  댓글주소  수정/삭제

      전 이것을 토대로 ai speaker 을 만드려고 합니다. 이 파트 순서대로 만들면 ai speaker를 만들 수 있나요??
      -> 상업용으로 판매하는 정도는 아니라도 혼자 사용하거나 교육용으로 사용하는 것은 가능하다고 생각됩니다.

      또한, luis나 qnamaker를 토대로하여 화자의 의도를파악해 따른 질문이나 답변을 하고 싶습니다.
      또한 필요한 정보를 azure 계정 database에 저장하려합니다.
      이러한 코딩을 어떻게 해야하는지 알 수 있나요??
      ==>>이러한 것은 제가 공부해서 할 수 있는지 기한은 11월 28일 전까지 짜는 것 입니다.
      빠른 답변이나 도움이 될만한 자료를 알려주시거나 하면 감사하겠습니다!!!
      -> 시간이 너무 지나버렸네요..23일날 달아주셨는데..28일전까지라면 시간이 너무 촉박하네요
      가능은 하겠지만 쉽지는 안을것 같습니다.

  7. 2019.11.23 20:35  댓글주소  수정/삭제  댓글쓰기

    비밀댓글입니다