2017年3月19日星期日

MMDAgent :: 基本功能介紹和設定

前言


現在會教大家如何先去最簡單地體驗下 MMDAgent。

下載


Windows

請到 MMDAgent 的官方網頁

1. 下載 MMDAgent "Sample Script" version 1.7 的 Source code。
2. 把 MMDAgent_Example-1.7 解壓縮。
3. 同時開啟 MMDAgent-1.7 和 MMDAgent_Example-1.7 兩個資料夾。
4. 把 MMDAgent_Example-1.7 內的 MMDAgent_Example.mdf 拖到 MMDAgent-1.7 內的 MMDAgent.exe 上, 又或者把在內所有名字為 "MMDAgent_Example" 開頭的檔案都移除 "_Example" 的部分, 名字也就只剩下 "MMDAgent" 作開頭 (有 ".ojt", ".mdf", ".fst", ".fph" 和 ".dic" 共 5 個檔案), 並把 MMDAgent_Example-1.7 資料夾內的所有檔案都移動到 MMDAgent-1.7 資料夾內, 最後 Double click MMDAgent.exe。


Linux

請到 MMDAgent 的官方網頁

1. 下載 MMDAgent "Sample Script" version 1.7 的 Source code。
2. 把 MMDAgent_Example-1.7 解壓縮。
3. 開啟 MMDAgent_Example-1.7 資料夾。
4. 把在內所有名字為 "MMDAgent_Example" 開頭的檔案都移除 "_Example" 的部分, 名字也就只剩下 "MMDAgent" 作開頭 (共有 ".ojt", ".mdf", ".fst", ".fph" 和 ".dic" 5 個檔案)。
5. 並把 MMDAgent_Example-1.7 資料夾內的所有檔案都移動到 MMDAgent-1.7 資料夾內的 Release 資料夾內。
6. Double click Release 資料夾內的 MMDAgent 執行檔案, 又或者在 Release 資料夾內開啟 Terminal, 並輸入以下指令:
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------
kutengf@sawaho-Alex911a:/Release$ ./MMDAgent MMDAgent.mdf
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------

有關下載的部分解說完了, 以下會說明有關 MMDAgent 的基本操作
(因為我還未使用過 MMDAI 所以以下的解說將會略過相關的話題(直到我開始研究..ヾ(*´∀ ˋ*)ノ.. 如造成不便, 深感抱歉)

MMDAgent_Example 最原始的功能

當我們依照以上任何一個方法去啟動 MMDAgent, 它是已經可以做到以下數個功能, 包括:

增加模型:
  • bootscreen.pmd
  • mei.pmd
  • menu.pmd
  • map_library.pmd

增加動作:
  • menu_rotation.vmd
  • mei_wait.vmd
  • mei_listen.vmd
  • mei_idle_boredom.vmd
  • mei_idle_touch_clothes.vmd
  • mei_idle_think.vmd
  • mei_greeting.vmd
  • mei_self_introduction.vmd
  • mei_happiness.vmd
  • mei_guide_happy.vmd
  • mei_bashfulness.vmd
  • mei_panel_on.vmd
  • mei_guide_normal.vmd
  • mei_look_down.vmd
  • mei_point_center_buttom.vmd
  • mei_bye.vmd

增加場景:
  • floor.bmp
  • background.bmp

可執行的執行網頁:
  • http://www.mmdagent.jp/

識別以下語音:
  • [你好]こんにちは(Kon Ni Chi Wa)
  • [你好]こんにちわ(Kon Ni Chi Wa)
  • [自我介紹]自己紹介(Ji Ko Sho Kai)
  • [你, 誰]あなた,誰(A Na Ta, Dare)
  • [你, 誰]君,誰(Kimi, Dare)
  • [謝謝]ありがと(A Ri Ga To)
  • [謝謝]ありがとう(A Ri Ga To U)
  • [謝謝]有難う(A Ri Ga To U)
  • [謝謝]有り難う(A Ri Ga To U)
  • [可愛]可愛い( Ka Wai I)
  • [可愛]かわいい(Ka Wa I I)
  • [漂亮]綺麗(Ki Rei)
  • [漂亮]きれい(Ki Re I)
  • [圖書館]図書館(To Sho Kan)
  • [Bye Bye]バイバイ(Ba I Ba I)
  • [再見]さようなら(Sa Yo U Na Ra)
  • [再見]さよなら(Sa Yo Na Ra)
  • [Home Page]ホームページ(Ho Mu Pe Ji)
  • MMDAgent
  • [Full Screen]フルスクリーン(Fu Ru Su Ku Ri N)
  • [初次見面]はじめまして(Ha Ji Me Ma Shi Te)
  • [最初]はじめ(Ha Ji Me)
  • [最初]始め(Ha Ji Me)
  • [最初]初め(Ha Ji Me)
  • [畫面]ガメン(Ga Me N)
  • [Application]アプリケーション(A Pu Ri Ke Sho N)
  • [Software]ソフトウェア(So Fu Toe A)

合成以下語音(日文):
  • [你好]こんにちは
  • [我叫作 Mei]メイと言います
  • [請多多指教]よろしくお願いします
  • [不用客氣]どういたしまして
  • [在什麼時候, 都請跟我聊天]いつでも、話しかけてくださいね
  • [這很尷尬]恥ずかしいです
  • [謝謝]ありがとう
  • [圖書館在, 正面看的話, 右前方的方向]図書館は、正面から見ると、右前の方向にあります
  • [在 Campus 地圖,你會在這裡]キャンパスマップでは、こちらになります
  • [明白了嗎]お解りになりますか
  • [再見]さようなら
  • [MMDAgent 的, Homepage 即將被顯示出]MMDAgentの、ホームページを表示します
  • [Screen 的設定, 已經改變了]スクリーンの設定を、変更しました

合成以下句式(英文):
  • Hello, nice to meet you.

ѩ: 備註 :ѩ
  • ➀ = 可於 MMDAgent.mdf 檔案進行改變其變量。
  • ➁ = 可於 MMDAgent.mdf 檔案進行改變其顯示位置。
  • ☑ = 已確認該功能依然存在。
  • ☒ = 已確認該功能不存在或者有些原因導致失去功能。
  •  ♮  = 圖示成對的為功能重複。
  • Ⓡ = 在有條件底下才能使用出來的功能。

快捷鍵(Hotkeys):
  • 上下左右方向鍵 (控制畫面視角)( ➀每次按下以4.5°為單位變化)(↑, ↓ 為 X 軸, ←, → 為 Y 軸) ☑
  • Shift + 上下左右箭咀 (平行移動畫面視角)( ➀每次按下以0.5為單位變化)(↑, ↓ 為 X 軸, ←, → 為 Y 軸) ☑
  • + (Zoom In)( ➀每次按下以0.4為單位變化) ☑
  • - (Zoom Out)( ➀每次按下以0.4為單位變化) ☑
  • Esc (退出 MMDAgent) ☑
  • X (陰影加強) ☑
  • E (邊緣厚度增加)(每次按下會將原本厚度加倍) ☑
  • Shift + E (邊緣厚度減少)(每次按下會將原本厚度減倍) ☑
  • L (角色視線對鼠標追蹤) ♮ ☒
  • Shift + L (取消角色視線對鼠標追蹤) ♮ ☒
  • P (啟用物理演算(重力)) ☑
  • W (線框顯示) ☑
  • S ( ➁FPS 數列表示) ☑
  • D ( ➁開啟背後運作指令顯示(Debug Mode))(實時表示參數, 用於更方便調試或理解 MMDAgent) ♮ ☑
  • Shift + D ( ➁關閉背後(所有)運作指令顯示(Debug Mode)) ♮ ☑
  • Page Up (可以向上滾動 Debug Mode 或其他同類型模式中的內容) Ⓡ ☑
  • Page Down (可以向下滾動 Debug Mode 或其他同類型模式中的內容) Ⓡ ☑
  • B (骨架顯示)(同時顯示動作模型, 模型, 等在場所有模型的名字) ☑
  • Shift + W (剛體顯示)
  • Shift + J (錄製聲音顯示條顯示)(如果 MMDAgent 偵測到有咪(錄音裝置)連接至電腦, 將自動開啟) ☑
  • Shift + F (開啟背後(Fst)運作指令顯示)(上半指令板為顯示已完成的指令)(下半指令板為顯示未完成的指令)(因指令板在右手邊, 所以要調整一下視角才能看見) ☑
  • Shift + V (同步垂直)(默認是開啟的, 如果是較好的 PC 建議關閉) ☑
  • Shift + X (渲染變化)(開啟的話相關的陰影部分會有變化) ☑
  • Ctrl + 左右方向鍵 (音頻文件的延遲時間調節)(可用此方法來提前或延遲音頻文件的播放時間) ☑
  • Delete (刪除模式)(在開啟此模式後, Double click 模型再按下 Delete 可將其刪除)(刪除親模型後, 子模型也會被刪除) ☑
  • H (Hold)(把當時的畫面和動作一時暫停) ☑
好了, 以上大概就是所有有關 MMDAgent_Example 的基本功能介紹(其實也不用那麼看重以上的這些功能, 因為用得上的少之又少..(´・ω・`)..)。

".FST" 檔案內的指令
(.FST 檔案 為 MMDAgent 程式的流程/行程檔)

與 Model 相關的:
  • MODEL_ADD
  • MODEL_CHANGE
  • MODEL_DELETE
  • MODEL_EVENT_ADD
  • MODEL_EVENT_CHANGE
  • MODEL_EVENT_DELETE

與 Motion 相關的:
  • MOTION_ADD
  • MOTION_ACCELERATE
  • MOTION_CHANGE
  • MOTION_DELETE
  • MOTION_EVENT_ADD
  • MOTION_EVENT_ACCELERATE
  • MOTION_EVENT_CHANGE
  • MOTION_EVENT_DELETE

與 Move and Rotate 相關的:
  • MOVE_START
  • MOVE_STOP
  • MOVE_EVENT_START
  • MOVE_EVENT_STOP
  • TURN_START
  • TURN_STOP
  • TURN_EVENT_START
  • TURN_EVENT_STOP
  • ROTATE_START
  • ROTATE_STOP
  • ROTATE_EVENT_START
  • ROTATE_EVENT_STOP

與 Sound 相關的:
  • SOUND_START
  • SOUND_STOP
  • SOUND_EVENT_START
  • SOUND_EVENT_STOP

與 Stage 相關的:
  • STAGE
  • STAGE

與 Light 相關的:
  • LIGHTCOLOR
  • LIGHTDIRECTION

與 Camera 相關的:
  • CAMERA
  • CAMERA

與 Speech recognition 相關的:
  • RECOG_EVENT_START
  • RECOG_EVENT_STOP
  • RECOG_MODIFY|GAIN
  • RECOG_MODIFY|USERDICT_SET
  • RECOG_MODIFY|USERDICT_UNSET
  • RECOG_MODIFY|CHANGE_CONF

與 Speech synthesis 相關的:
  • SYNTH_START
  • SYNTH_STOP
  • SYNTH_EVENT_START
  • SYNTH_EVENT_STOP
  • LIPSYNC_START
  • LIPSYNC_STOP
  • LIPSYNC_EVENT_START
  • LIPSYNC_EVENT_STOP

與 Variable 相關的:
  • VALUE_SET
  • VALUE_SET
  • VALUE_UNSET
  • VALUE_EVAL
  • VALUE_EVENT_SET
  • VALUE_EVENT_UNSET
  • VALUE_EVENT_EVAL
  • TIMER_START
  • TIMER_STOP
  • TIMER_EVENT_START
  • TIMER_EVENT_STOP

與 Plugin 相關的:
  • PLUGIN_ENABLE
  • PLUGIN_DISABLE
  • PLUGIN_EVENT_ENABLE
  • PLUGIN_EVENT_DISABLE

與 Other events 相關的:
  • DRAGANDDROP
  • KEY

與 Other commands 相關的:
  • EXECUTE
  • KEY_POST


".MDF" 檔案內的指令
(.Mdf 檔案 為 MMDAgent 程式的場景/模型輔助檔)

與 Cartoon rendering 相關的:
  • use_cartoon_rendering
  • use_mmd_like_cartoon
  • cartoon_edge_width
  • cartoon_edge_step
  • cartoon_edge_selected_color

與 Camera 相關的:
  • camera_rotation
  • camera_transition
  • camera_distance
  • camera_fovy

與 Stage 相關的:
  • stage_size

與 FPS 相關的:
  • show_fps
  • fps_position

與 Window 相關的:
  • window_size
  • full_screen

與 Log 相關的:
  • log_size
  • log_position
  • log_scale

與 Light 相關的:
  • light_direction
  • light_intensity
  • light_color

與 Campus 相關的:
  • campus_color

與 OpenGL 相關的:
  • max_multi_sampling

與 Motion 相關的:
  • motion_adjust_time
  • lypsync_priority

與 Bullet Physics 相關的:
  • bullet_fps
  • gravity_factor

與 User interface 相關的:
  • rotate_step
  • translate_step
  • distance_step
  • fovy_step

與 Shadow mapping 相關的:
  • use_shadow_mapping
  • shadow_mapping_texture_size
  • shadow_mapping_self_density
  • shadow_mapping_floor_density
  • shadow_mapping_light_first

與 Comment 相關的:
  • display_comment_time

與 Model 相關的:
  • max_num_model


".DIC" 檔案內的指令
(.DIC 檔案 為 MMDAgent 程式的字典檔。)
(在預設的.DIC 檔案中, 且有以下已設定好的詞句。)

  • エムエムディーエージェント (MMDAgent)
  • フルスクリーン (Fullscreen)


".OJT" 檔案內的指令


".FPH" 檔案內的指令

標籤:

2017年3月15日星期三

MMDAgent :: 下載與安裝

下載

MMDAgent 歷代的各個版本: https://sourceforge.net/projects/mmdagent/files/MMDAgent/

安裝

Windows

請下載 MMDAgent 中的 Installer, 到 Installer 介面後, 跟指示做便可

Linux

請下載 MMDAgent 的 Source code, 並在下載後解壓縮 MMDAgent.zip
(以 Ubuntu 16.04 為例)在安裝前, 需要先下載一些其他的工具包
Synaptic Software Manager

Synaptic 是一個套件管理的程式, 利用它可以更容易和更有效率地去下載其他的工具包
主要的下載方法有兩個:

  • 1. 可以直接開啟 Ubuntu 軟體中心並搜尋 "synaptic", 然後安裝
  • 2. 打開 Terminal 並輸入以下指令:
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------
kutengf@sawamine-Alex911a:~$ sudo apt-get update
kutengf@sawamine-Alex911a:~$ sudo apt-get upgrade
kutengf@sawamine-Alex911a:~$ sudo apt-get install synaptic
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------

在完成安裝後, 請開啟 Synaptic Software Manager 並搜尋和安裝以下工具包
如不會用 Synaptic Software Manager, 以下影片可以幫到你
Ubuntu Basics - How to use Synaptic Package Manager | Geekurville
  • build-essential
  • libX11-dev
  • libxrandr-dev
  • libgl1-mesa-dev
  • libglu1-mesa-dev
  • portaudio19-dev

在完成安裝所有上列工具包後 就可以開始安裝 MMDAgent

  • 1. 首先, 先打開你解壓縮出的資料夾
  • 2. 開啟 Terminal
  • 3. 輸入以下指令以安裝 MMDAgent:
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------
kutengf@sawamine-Alex911a:~$ cd MMDAgent-1.7
kutengf@sawamine-Alex911a:~/MMDAgent-1.7$ make x11 (*舊版本請看 Makefile)
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------

在這一步, 我發生了個問題, Release 內的 "Flite_plus_hts_engine.so" 不能讀取 "Flite_plus_hts_engine.a", 而導致 Error 出現

解決方法(Temp):
進入 Library_Flite_plus_hts_engine 資料夾內, 然後再把名為 "Makefile" 的檔案打開, 最後把第一行指令 Target 中的 "lib/Flite_Plus_hts_engine.a" 改成 "lib/Flite_plus_hts_engine.a"
  • 4. 當 make 完成後, 相應檔案將會在 Release 資料夾中生成
  • 5. 輸入以下指令以啟動 MMDAgent:
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------
kutengf@sawamine-Alex911a:~$ cd Release
kutengf@sawamine-Alex911a:/Release$ ./MMDAgent
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------

正常而言, 在 Ubuntu 上, 到這一步 MMDAgent 應該是可以正常運作的了。 但我在安裝的時候, 有數次都試過安裝失敗或出現其他Bug的情況, 為了讓未來可以更容易和更快地安裝 MMDAgent, 我遲下會推出一個專欄專描述相關的問題和解決方法

(話說在 Ubuntu-16.04 中我的 MMDAgent-1.7 在運作時出現了 core dumped 的問題, 所以我都一直在保持著用 MMDAgent-1.6..(詳細的解說我會在之後的篇章進行說明..))

不論各位容易上什麼方法什麼系統去安裝, 最後大家開啟出來的 MMDAgent 的樣子應該是這樣的

一片藍黑色.....
這並不是中了什麼 Bug, 而是正常的。 因為還有一大堆參數和檔案等著你去改..(*゚∀゚*)(與這些相關的問題和解決方法我將會在下篇詳細講解。)

這才是大家期待的樣子吧..
與 MMDAgent 相關的下載和安裝方法就此告一段落了, 要是大家有什麼問題或意見的, 歡迎大家留言
下一篇將會是說明 MMDAgent 的基礎功能和設定, 請大家多加支持。

標籤:

MMDAgent :: What is it ?

前言


MMDAgent 的官方網站: mmdagent.jp

MMDAgent 是一種屬於 Smart Assistant 類的程式, 它的內置功能就是可以利用語音控制去開啟其他應用程式, 網頁
如果你運用得當, 還可以用它去控制家中的電器, 以達成智能家居的目的

MMDAgent 的優點 :

由於它是 Open Source 的, 因此對學習和修改程式上都很方便
其次就是它可以讀取 MikuMikuDance 裏的 PMD, VMD 等模型檔(先說明 MMDAgent 並不能讀取 PMX 檔案, 但 iOS 的 MMDAI 可以)

MMDAgent 的由來:

MMDAgent 是由名古屋工業大学国際音声技術研究所所製造的 Open Source 互動式語音交互系統建構工具包。 透過語音合成, 語音識別, 3D模型, 唇形同步等的各方面技術, 就建立出你現在所看見的 MMDAgent 了

主要參考自: CUBE370さん(Project-NAIP wiki)

標籤:

Before :: 2017/3/15

煩擾

一直以來,我經常被不同的技術性問題所困擾,然而並未有能力全數解決。
因此建立此 Blog 去記錄一下做 Project 時遇到的問題,以便未來的我,又或者志同道合的朋友更容易處理麻煩問題。

以上
Kuteng F

標籤: