DefiosLab.github.io/index.xml at main · DefiosLab/DefiosLab.github.io · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>Defios Lab.</title>
    <link>https://DefiosLab.github.io/</link>
    <description>Recent content on Defios Lab.</description>
    <generator>Hugo</generator>
    <language>jp</language>
    <lastBuildDate>Sat, 02 May 2026 00:00:00 +0000</lastBuildDate>
    <atom:link href="https://DefiosLab.github.io/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>Jetson AGX Orin(32GB)にコーディングエージェント用のLLMサーバを立てる</title>
      <link>https://DefiosLab.github.io/post/jetson-llm/</link>
      <pubDate>Sat, 02 May 2026 00:00:00 +0000</pubDate>
      <guid>https://DefiosLab.github.io/post/jetson-llm/</guid>
      <description>&lt;p&gt;弊社ではChatGPT Businessプランを契約しており、最近は自社開発を中心にCodexを活用しています。&lt;br&gt;&#xA;Businessプランではプロジェクトの規模が大きくなるにつれて利用上限にすぐ達してしまうようになり、より手軽に使えるローカルLLM環境を探すようになりました。&lt;br&gt;&#xA;いくつか試してみた結果、Jetson AGX Orin 環境では&lt;strong&gt;Claude Code + llama-server&lt;/strong&gt;の構成が最適という結論になりました。&lt;/p&gt;&#xA;&lt;h1 id=&#34;環境構築&#34;&gt;環境構築&lt;/h1&gt;&#xA;&lt;h1 id=&#34;llamacppをビルドする&#34;&gt;llama.cppをビルドする&lt;/h1&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-bash&#34; data-lang=&#34;bash&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;git clone git@github.com:ggml-org/llama.cpp.git&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;cd llama.cpp&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;cmake -B build -DGGML_CUDA&lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt;ON &#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;cmake --build build --config Release&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/br&gt;&#xA;&lt;h1 id=&#34;モデルのダウンロード&#34;&gt;モデルのダウンロード&lt;/h1&gt;&#xA;&lt;p&gt;今回は&lt;code&gt;unsloth/Qwen3.6-35B-A3B-GGUF&lt;/code&gt;の&lt;code&gt;Qwen3.6-35B-MXFP4_MOE.gguf&lt;/code&gt;を使います&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-bash&#34; data-lang=&#34;bash&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;wget  -O Qwen3.6-35B-A3B-MXFP4_MOE.gguf https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF/resolve/main/Qwen3.6-35B-A3B-MXFP4_MOE.gguf?download&lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt;true&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/br&gt;&#xA;&lt;h1 id=&#34;サーバを立てる&#34;&gt;サーバを立てる&lt;/h1&gt;&#xA;&lt;p&gt;Jetsonではmmapを無効にしないと10GB程度のモデルでOOMが発生します。&lt;br&gt;&#xA;ollamaやlmstudio cliではこの設定ができなさそうかつCodexではllama-serverが使えないので今回この構成になっています。&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-bash&#34; data-lang=&#34;bash&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;./build/bin/llama-server &lt;span style=&#34;color:#ae81ff&#34;&gt;\&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;&lt;/span&gt;    -m path/to/Qwen3.6-35B-A3B-MXFP4_MOE.gguf &lt;span style=&#34;color:#ae81ff&#34;&gt;\&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;&lt;/span&gt;    --alias &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;unsloth/Qwen3.6&amp;#34;&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;\&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;&lt;/span&gt;    --host 0.0.0.0 &lt;span style=&#34;color:#ae81ff&#34;&gt;\&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;&lt;/span&gt;    --port &lt;span style=&#34;color:#ae81ff&#34;&gt;8000&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;\&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;&lt;/span&gt;    --n-gpu-layers &lt;span style=&#34;color:#ae81ff&#34;&gt;999&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;\&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;&lt;/span&gt;    --ctx-size &lt;span style=&#34;color:#ae81ff&#34;&gt;256000&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;\&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;&lt;/span&gt;    --batch-size &lt;span style=&#34;color:#ae81ff&#34;&gt;512&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;\&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;&lt;/span&gt;    --no-mmap&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;/br&gt;&#xA;&lt;h1 id=&#34;claude-codeから使う&#34;&gt;Claude Codeから使う&lt;/h1&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-bash&#34; data-lang=&#34;bash&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;export ANTHROPIC_BASE_URL&lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt;http://&amp;lt;Jetson IP Address&amp;gt;:8000&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;export CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC&lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;1&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;export DISABLE_NON_ESSENTIAL_MODEL_CALLS&lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;1&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;claude &lt;span style=&#34;color:#75715e&#34;&gt;# Claude Code cliを実行&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;これで動作します&lt;/p&gt;</description>
    </item>
    <item>
      <title>ゲーム開発者向け生成AI統合ミドルウェア「ValorAI」の紹介</title>
      <link>https://DefiosLab.github.io/post/valorai-alpha/</link>
      <pubDate>Mon, 14 Apr 2025 00:00:00 +0000</pubDate>
      <guid>https://DefiosLab.github.io/post/valorai-alpha/</guid>
      <description>&lt;h1 id=&#34;1valoraiとは&#34;&gt;1．ValorAIとは&lt;/h1&gt;&#xA;&lt;p&gt;ChatGPTに代表される文章生成AIをコストを抑えて簡単にゲームに搭載可能にするミドルウェアです。&lt;br&gt;&#xA;&lt;strong&gt;ノーコードでAI NPC/AIシステムを開発し、UnityやUnrealEngine等のゲームエンジン上で動作させることができます。&lt;/strong&gt;&lt;br&gt;&#xA;クラウドの推論処理に加えてオンデバイスでの高速なローカルLLMにも対応しており、&lt;strong&gt;完全サーバレスな生成AIゲームを開発することも可能です。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;ValorAIは&lt;strong&gt;GeneratorとRuntime&lt;/strong&gt; の二つのソフトウェアで構成されています。GeneratorはGUIアプリケーションです。Node-REDやDify等のようにノーコードでAIを制御することができます。&lt;br&gt;&#xA;Runtimeはゲームエンジン上で動作するライブラリです。Generatorで開発したAIモデルを動作させることができます。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;今年4月にValorAI α版を公開しました。&lt;/strong&gt;&lt;br&gt;&#xA;&lt;a href=&#34;https://defios.jp/valorai/&#34;&gt;https://defios.jp/valorai/&lt;/a&gt;&lt;/p&gt;&#xA;&lt;p&gt;本記事ではこのα版を用いてValorAIの機能の一部をご紹介します。&lt;/p&gt;&#xA;&lt;h1 id=&#34;2-ai-npcを作ってみよう&#34;&gt;2. AI NPCを作ってみよう&lt;/h1&gt;&#xA;&lt;p&gt;例としてValorAIを使ってAI NPCを作ってみましょう。&lt;br&gt;&#xA;&lt;strong&gt;「昨日起こった殺人事件の犯人を村人に聞き込みをして特定するゲーム」&lt;/strong&gt; というお題で村人NPCを作ります。&lt;/p&gt;&#xA;&lt;p&gt;※ツールの詳細な使い方は本記事では割愛しています。α版同封のチュートリアルをご一読ください&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;Generator&lt;/strong&gt; を起動すると以下の画面が表示されます。&lt;/p&gt;&#xA;&lt;figure&gt;&lt;img src=&#34;https://DefiosLab.github.io/post/valorai-alpha/valorai-init.png&#34;&gt;&#xA;&lt;/figure&gt;&#xA;&#xA;&lt;p&gt;左上のプルダウンメニューからノードを追加できます。&lt;br&gt;&#xA;α版で対応しているノードは以下の通りです。&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;Input&lt;/strong&gt; : 入力を受け取るノードです。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;LLM&lt;/strong&gt; : 設定や入力を元に文章を生成します。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;Question Classifier&lt;/strong&gt; : 入力が何に関する文章か分類します&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;Answer&lt;/strong&gt; : 定型文を出力します&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;Knowledge Search&lt;/strong&gt; : 辞書データから入力に類似する文章を出力します(RAG機能)&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;まず初めに以下のようにノードを繋いで簡単なNPCを作成します。&lt;/p&gt;&#xA;&lt;figure&gt;&lt;img src=&#34;https://DefiosLab.github.io/post/valorai-alpha/simple-npc.png&#34;&gt;&#xA;&lt;/figure&gt;&#xA;&#xA;&lt;p&gt;Inputノードに質問文章が渡され、左から線で接続されている順番でノードが実行されます。&lt;br&gt;&#xA;Question Classifierは質問内容によって分岐するノードです。事件に全く関係ない質問をAnswerノードに分岐させて定型文を返すようにしています。ここでは「・・・。(今は世間話をする気はないようだ・・・）」と返すようにしています。&lt;/p&gt;&#xA;&lt;p&gt;LLMノードにはSystemPromptとUserPromptの二つを設定できます。SystemPromptにはキャラクターの設定、UserPromptには入力の質問文を渡しています。&lt;br&gt;&#xA;SystemPromptには以下の設定を付与しています&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;【ゲーム内設定】&#xA;あなたは、ゲーム内の村に住むNPCの一人です。村には以下の10人の住民が存在します。&#xA;&#xA;&#xA;1.村長｜タケナカ シゲル（男性・50代）&#xA;2.宿屋の娘｜サクライ ミナ（女性・20代後半）&#xA;3.農夫｜イシダ ゴロウ（男性・40代）&#xA;4.薬師｜フジワラ トモエ（女性・30代半ば）&#xA;5.猟師｜オオタニ ケンジ（男性・20代後半）&#xA;6.旅の商人｜カワムラ シンゴ（男性・30代）&#xA;7.村の主婦｜ナカジマ アヤ（女性・30代後半）&#xA;8.女教師｜タカハシ ユキ（女性・30代前半）&#xA;9.木工職人｜スズキ タロウ（男性・40代）&#xA;10.会社員｜マツナガ ヒロキ（男性・20代後半）&#xA;&#xA;&#xA;事件に関するキーワードは次の9個です。&#xA;1.争う声&#xA;2.銃声&#xA;3.急ぎ足の影&#xA;4.消えた食事&#xA;5.短い悲鳴&#xA;6.いざこざ&#xA;7.薬の小瓶&#xA;8.震える手&#xA;9.乱れた髪&#xA;&#xA;&#xA;【ゲームの流れ】&#xA;主人公が村を訪れた翌日に殺人事件が発生します。被害者はフジワラ トモエです。&#xA;あなたは、事件の証言者として、200文字以内で証言してください。&#xA;事件に関するあなたが持っているキーワードがあります。カギ括弧を付けてキーワードを使用し証言に含めて下さい。また不自然にならないように文脈に組み込むこと。&#xA;&#xA;【あなたの設定】&#xA;あなたは以下に指定されるキャラクターを完璧に演じてください。設定はそのまま読み上げることはせずにキャラクターの設定として不自然にならないように演じてください。&#xA;あなたはサクライ ミナです。&#xA;宿屋の娘で両親の仕事を手伝っています。事件があった時はちょうどその日の仕事がひと段落し、自室で趣味の読書をしていました。&#xA;質問には昨日起こった事件にとても怖がっている様子で返答してください&#xA;持っているキーワード：争う声、銃声、短い悲鳴&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;これでNPCの設定ができました。&lt;br&gt;&#xA;Question ClassifierやLLMノードはクラウドまたはローカルのLLMモデルを内部で利用しています。今回はOpenAI社のgpt-4o-miniを使いました。&lt;br&gt;&#xA;作成したモデルはjson形式で保存されます。&lt;br&gt;&#xA;Unityのプロジェクトに配置して、以下のコードで動かすことができます。&lt;/p&gt;</description>
    </item>
    <item>
      <title>M5stack Module LLMで好きなLLMモデルを動かす</title>
      <link>https://DefiosLab.github.io/post/m5stack_llm/</link>
      <pubDate>Wed, 15 Jan 2025 00:00:00 +0000</pubDate>
      <guid>https://DefiosLab.github.io/post/m5stack_llm/</guid>
      <description>&lt;h1 id=&#34;0-宣伝&#34;&gt;0. 宣伝&lt;/h1&gt;&#xA;&lt;p&gt;この記事はすっかり年明けも過ぎましたが「M5Stack Module LLM Advent Calendar 2024」に空きがあったので参加している記事です。&lt;/p&gt;&#xA;&lt;div class=&#34;mj-linkcard&#34; style=&#34;background-color: #ffffff; width: 100%;max-width: 600px;display: flex;border: 1px solid #999;border-radius: 0.3rem;&#34;&gt;&#xA;&lt;div class=&#34;mj-imagebox&#34; style=&#34;width: 120px;flex-shrink: 0;padding: 5px;&#34;&gt;&#xA;&lt;a class=&#34;mj-blogcard_al&#34; href=&#34;&#34; target=&#34;_blank&#34; style=&#34;width: 100%;&#34;&gt;&#xA;&lt;img src=&#34;https://qiita-user-contents.imgix.net/https%3A%2F%2Fcdn.qiita.com%2Fassets%2Fpublic%2Fadvent_calendar%2Fogp%2Fcalendar-ogp-background-c24e7570f8dc39b6f4e1323cbd83d11f.jpg?ixlib=rb-4.0.0&amp;amp;w=1200&amp;amp;mark-x=142&amp;amp;mark-y=128&amp;amp;mark64=aHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzRkZGRkZGJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dD1NNVN0YWNrJTIwTW9kdWxlJTIwTExNJTIwJTIwQWR2ZW50JTIwQ2FsZW5kYXIlMjAyMDI0Jnc9OTE2Jmg9MzU2JnM9ZTk2YTA0ZjgxMmNhYjM3NGRiM2JmZmI3ODM1OTU4YmM&amp;amp;blend-mode=normal&amp;amp;blend-x=142&amp;amp;blend-y=491&amp;amp;blend64=aHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzRkZGRkZGJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dD0lNDBubm4xMTIzNTgmdz05MTYmcz04OTI1Mzc3NzU0YjE5MWMwOTJlYWNlYmQ3MjYyMzhmMw&amp;amp;s=ee0574e6a2ef2eb2e08e0eff3b18069b&#34; alt=&#34;&#34; style=&#34;width: 100%;max-height: 120px;&#34;&gt;&lt;/a&gt;&lt;/div&gt;&#xA;&lt;div class=&#34;mj-textbox&#34; style=&#34;overflow: hidden;flex-grow: 1;padding: 2px;&#34;&gt;&#xA;&lt;a class=&#34;mj-blogcard_al&#34; href=&#34;&#34; target=&#34;_blank&#34; style=&#34;width: 100%;&#34;&gt;&#xA;&lt;div class=&#34;mj-title&#34; style=&#34;font-weight: bold;padding-bottom: 2px;text-align: left;&#34;&gt;&#xA;&lt;font color=&#34;#666&#34;&gt;M5Stack Module LLM  - Qiita Advent Calendar 2024 - Qiita&lt;/font&gt;&lt;/div&gt;&lt;/a&gt;&#xA;&lt;div class=&#34;mj-desc&#34; style=&#34;overflow: hidden;text-overflow: ellipsis;white-space: nowrap;font-size: 0.6em;color: #868686;text-align: left;&#34;&gt;&#xA;Calendar page for Qiita Advent Calendar 2024 regarding M5Stack Module LLM .&lt;/div&gt;&#xA;&lt;div class=&#34;mj-generated&#34; style=&#34;font-size: 0.1em;color: #ffffff;text-align: right;&#34;&gt;Generated by&#xA;&lt;a class=&#34;mj-linkcard_a&#34; id=&#34;mj-generated_a&#34; href=&#34;https://blogmanju.com&#34; target=&#34;_blank&#34; rel=&#34;noopener noreferrer&#34;&gt;&lt;font color=&#34;#ffffff&#34;&gt;Mj &lt;/font&gt;&lt;/a&gt;&lt;/div&gt;&#xA;&lt;div class=&#34;mj-site_name&#34; style=&#34;font-size: 0.8em;color: #666;text-align: right;&#34;&gt;&#xA;&lt;a class=&#34;mj-linkcard_siteurl&#34; href=&#34;&#xA;&#34; target=&#34;_blank&#34; style=&#34;display: block;&#34; rel=&#34;noopener noreferrer&#34;&gt;&#xA;&lt;font color=&#34;#666&#34;&gt;&lt;/font&gt;&lt;/a&gt;&lt;/div&gt;&#xA;&lt;/div&gt;&lt;/div&gt;&#xA;&lt;style&gt;&#xA;.mj-linkcard a {&#xA;text-decoration: none;&#xA;}&#xA;#mj-generated_a:link, &#xA;#mj-generated_a:visited, &#xA;#mj-generated_a:hover, &#xA;#mj-generated_a:active {&#xA;  color: #ffffff;&#xA;}&#xA;.mj-imagebox img {&#xA;    display: block;&#xA;    height: auto;&#xA;    margin: 0 auto;&#xA;}&#xA;.mj-linkcard:hover{&#xA;&#x9;opacity: 0.8!important;&#xA;    -webkit-transition: all 0.3s ease;&#xA;    -moz-transition: all 0.3s ease;&#xA;    -o-transition: all 0.3s ease;&#xA;    transition: all  0.3s ease;&#xA;}&#xA;.mj-linkcard:hover img{&#xA;&#x9;opacity: 0.8!important;&#xA;    -webkit-transition: all 0.3s ease;&#xA;    -moz-transition: all 0.3s ease;&#xA;    -o-transition: all 0.3s ease;&#xA;    transition: all  0.3s ease;&#xA;}&#xA;&lt;/style&gt;&#xA;&lt;/p&gt;</description>
    </item>
    <item>
      <title>ゲームの世界にローカルLLMを！！LlamaCppUnityを公開しました</title>
      <link>https://DefiosLab.github.io/post/release_llamacppunity/</link>
      <pubDate>Thu, 16 May 2024 00:00:00 +0000</pubDate>
      <guid>https://DefiosLab.github.io/post/release_llamacppunity/</guid>
      <description>&lt;h1 id=&#34;1はじめに&#34;&gt;1．はじめに&lt;/h1&gt;&#xA;&lt;p&gt;近年、LLM（Large Language Models）の利活用が進んでおり、その応用範囲は広がっています。その中でゲーム開発において、LLMを活用したいと考える方も多いと思います。例えばリアルなNPCやプレイヤーの行動に応じた自由度の高い反応を実現したい等。&lt;/p&gt;&#xA;&lt;p&gt;LLMをアプリに組み込む場合、ChatGPTを筆頭としたクラウドLLMと通信して行うのが主流になっていますが、生成量に応じた課金が必要でゲームへの導入には障壁があります。&lt;/p&gt;&#xA;&lt;p&gt;そこで、デバイス内でLLMの推論処理を完結するRuntimeライブラリ、 &lt;strong&gt;LlamaCppUnity&lt;/strong&gt;を公開しました。&lt;/p&gt;&#xA;&lt;div class=&#34;iframely-embed&#34;&gt;&lt;div class=&#34;iframely-responsive&#34; style=&#34;height: 140px; padding-bottom: 0;&#34;&gt;&lt;a href=&#34;https://github.com/DefiosLab/LlamaCppUnity&#34; data-iframely-url=&#34;//iframely.net/O8gKEAS?card=small&#34;&gt;&lt;/a&gt;&lt;/div&gt;&lt;/div&gt;&lt;script async src=&#34;//iframely.net/embed.js&#34;&gt;&lt;/script&gt;&#xA;&lt;br&gt;&#xA;&lt;hr&gt;&#xA;&lt;h1 id=&#34;2-llamacppunity&#34;&gt;2. LlamaCppUnity&lt;/h1&gt;&#xA;&lt;p&gt;LlamaCppUnityは&lt;a href=&#34;https://github.com/ggerganov/llama.cpp&#34;&gt;llama.cpp&lt;/a&gt;をバックエンドとしたLLM Runtimeライブラリです。&lt;br&gt;&#xA;llama.cppの機能をそのまま使えるので、&lt;strong&gt;量子化やGPGPU/SIMD実行, クロスプラットフォーム(Windows, Mac, Android)に対応&lt;/strong&gt;しています。&lt;br&gt;&#xA;MIT Licenseで公開しているので再配布・改造も自由です。(Contribution大歓迎です！)&lt;/p&gt;&#xA;&lt;p&gt;↓は本ライブラリの紹介動画です。&lt;/p&gt;&#xA;&lt;iframe width=&#34;560&#34; height=&#34;315&#34; src=&#34;https://www.youtube.com/embed/YAPNvy4gD-Y?si=mJwg1lKqafEXValI&#34; title=&#34;YouTube video player&#34; frameborder=&#34;0&#34; allow=&#34;accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share&#34; referrerpolicy=&#34;strict-origin-when-cross-origin&#34; allowfullscreen&gt;&lt;/iframe&gt;&#xA;&lt;p&gt;こちらの動画内で使われているアプリは今回デモ用に作った&lt;strong&gt;ユニティちゃんと簡単な会話ができるアプリ&lt;/strong&gt;です。&lt;br&gt;&#xA;以下に公開していますので興味がある方はぜひ触ってみてください！（Windows, Android対応）&lt;br&gt;&#xA;モデルは&lt;code&gt;ELYZA-japanese-Llama-2-7bの2bit量子化モデル&lt;/code&gt;を使っています。&lt;/p&gt;&#xA;&lt;div class=&#34;iframely-embed&#34;&gt;&lt;div class=&#34;iframely-responsive&#34; style=&#34;height: 140px; padding-bottom: 0;&#34;&gt;&lt;a href=&#34;https://github.com/DefiosLab/LlamaCppUnity_DEMO&#34; data-iframely-url=&#34;//iframely.net/qhd6SYA?card=small&#34;&gt;&lt;/a&gt;&lt;/div&gt;&lt;/div&gt;&lt;script async src=&#34;//iframely.net/embed.js&#34;&gt;&lt;/script&gt;&#xA;&lt;br&gt;&#xA;&lt;hr&gt;&#xA;&lt;h1 id=&#34;3-サンプルコード&#34;&gt;3. サンプルコード&lt;/h1&gt;&#xA;&lt;p&gt;推論を動かすには以下のコードで簡単に実行できます。Token毎に生成結果を返す&lt;code&gt;Stream&lt;/code&gt;にも対応しています。&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-c#&#34; data-lang=&#34;c#&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;using&lt;/span&gt; LlamaCppUnity;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;public&lt;/span&gt; &lt;span style=&#34;color:#66d9ef&#34;&gt;class&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;LlamaSample&lt;/span&gt; : MonoBehaviour&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;{&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  &lt;span style=&#34;color:#66d9ef&#34;&gt;void&lt;/span&gt; Start()&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    Llama test = &lt;span style=&#34;color:#66d9ef&#34;&gt;new&lt;/span&gt; Llama(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;&amp;lt;path/to/gguf&amp;gt;&amp;#34;&lt;/span&gt;);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#66d9ef&#34;&gt;string&lt;/span&gt; result = test.Run(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;Q: Name the planets in the solar system? A: &amp;#34;&lt;/span&gt;);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#75715e&#34;&gt;//Output example: &amp;#34;1. Venus, 2. Mercury, 3. Mars,&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#75715e&#34;&gt;//Stream Mode&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#66d9ef&#34;&gt;foreach&lt;/span&gt; (&lt;span style=&#34;color:#66d9ef&#34;&gt;string&lt;/span&gt; text &lt;span style=&#34;color:#66d9ef&#34;&gt;in&lt;/span&gt; test.RunStream(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;Q: Name the planets in the solar system? A: &amp;#34;&lt;/span&gt;))&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;      Debug.Log(text);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;後ほどデモアプリのソースコードも公開予定です。（アセットをおしゃれにした結果、ライセンス上そのままソースを公開できないアプリになってしまいました&amp;hellip;推論部分だけを抽出したサンプルアプリにする予定です。）&lt;/p&gt;</description>
    </item>
    <item>
      <title>M5core2でリアルタイム７seg推論</title>
      <link>https://DefiosLab.github.io/post/m5core2_7seg/</link>
      <pubDate>Thu, 07 Dec 2023 00:00:00 +0000</pubDate>
      <guid>https://DefiosLab.github.io/post/m5core2_7seg/</guid>
      <description>&lt;h1 id=&#34;1-はじめに&#34;&gt;1. はじめに&lt;/h1&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;本記事はM5core2内で7seg文字をニューラルネットワークでリアルタイム画像認識をさせようという記事です。&#xA;M5stackは約5cm×5cmの正方形のケースの中に、Wi-FiとBluetoothによる無線通信機能を搭載したESP32をはじめ、カラーディスプレイ、ボタン、スピーカー、IMU,MicroSDなどの周辺部品が一つのモジュールとしてまとまっているマイコンモジュールです。さらに、側面、背面のピンにケーブルを接続すれば色々なセンサー類が使用できるようになります。&#xA;M5core2はM5basicの上位機種で物理ボタンからタッチセンサに変更になったり、6軸IMUが追加されたり、バッテリー容量が3倍ほどになっていたりしています。&#xA;本記事を通じてM5core2でリアルタイムにAIを動かす際の参考になれば幸いです。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;h1 id=&#34;2開発環境&#34;&gt;2.　開発環境&lt;/h1&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;使用した機材、環境は以下になります。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;端末 : M5core2　(今回は試していないが、M5 basicなどの他のM5シリーズでも可能だと思われる)&lt;/li&gt;&#xA;&lt;li&gt;カメラ : UnitCam　(Wi-Fi通信 or uart通信で画像を送信できるカメラ)&lt;/li&gt;&#xA;&lt;li&gt;環境 : VSCode + PlatformIO&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;&lt;a href=&#34;https://docs.m5stack.com/ja/core/core2&#34;&gt;&lt;img src =&#34;https://static-cdn.m5stack.com/resource/docs/products/core/core2/core2_01.webp&#34; width=&#34;20%&#34;&gt;&lt;/a&gt;&#xA;&lt;a href=&#34;https://www.switch-science.com/products/7231&#34;&gt;&lt;img src =&#34;https://www.switch-science.com/cdn/shop/products/f06a7f0c-15a6-4c4b-ae5d-94a41ff9df05_800x800.jpg?v=1699715018&#34; width=&#34;20%&#34;&gt;&lt;/a&gt;&lt;/p&gt;&#xA;&lt;!-- [![M5core2](https://static-cdn.m5stack.com/resource/docs/products/core/core2/core2_01.webp)](https://docs.m5stack.com/ja/core/core2) --&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;今回使用したファイルは下記のリポジトリにまとめてあります。クローンして使用してください&#xA;&lt;a href=&#34;https://github.com/DefiosLab/M5_7seg_program&#34;&gt;https://github.com/DefiosLab/M5_7seg_program&lt;/a&gt;&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h1 id=&#34;3-モデル学習&#34;&gt;3. モデル学習&lt;/h1&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;7seg画像認識のモデルを作成する際に下記サイトを参考に行い、データセットも下記サイトからお借りしました。とても分かりやすく画像認識のモデルを作成する際に必要な情報がまとめてあっておすすめです。&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;&lt;a href=&#34;https://child-programmer.com/ai/cnn-originaldataset-samplecode/#Google_Colaboratory_PythonKerasCNN&#34;&gt;【サンプルコード】Python・KerasでCNN機械学習。自作・自前画像のオリジナルデータセットで画像認識入門&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;データセットは下記サイトからダウンロードできます。&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;&lt;a href=&#34;https://child-programmer.com/download/seven-segment-digits-ocr-original-model-dataset/&#34;&gt;ダウンロード：7セグメントのデジタル数字画像認識用オリジナルデータセット&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;実際に学習に使用したプログラムは&amp;quot;learn_7seg.ipynb&amp;quot;になります&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;学習済みのmodel.h5ファイルが次のステップで必要になります&lt;/p&gt;&#xA;&lt;h1 id=&#34;4-モデルの量子化&#34;&gt;4. モデルの量子化&lt;/h1&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;量子化とは重みなどのパラメータをより低bitで表すことでモデルの軽量化を行うモデル圧縮の1つの手法です。&lt;/li&gt;&#xA;&lt;li&gt;量子化の際に使用したプログラムは&amp;quot;quantize.ipynb&amp;quot;になります&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;1.下記のコードで整数量子化(入出力の型は元モデルのままfloat)を行います&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-python&#34; data-lang=&#34;python&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;# settings&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;input_model &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#39;model.h5&amp;#39;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;keras_model &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; tf&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;keras&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;models&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;load_model(input_model)&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;def&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;representative_dataset_gen&lt;/span&gt;():&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;   &lt;span style=&#34;color:#66d9ef&#34;&gt;for&lt;/span&gt; i &lt;span style=&#34;color:#f92672&#34;&gt;in&lt;/span&gt; range(&lt;span style=&#34;color:#ae81ff&#34;&gt;100&lt;/span&gt;):&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;      input_image &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; tf&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;cast(train_images[i], tf&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;float32)&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;      input_image &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; tf&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;reshape(input_image, [&lt;span style=&#34;color:#ae81ff&#34;&gt;1&lt;/span&gt;,&lt;span style=&#34;color:#ae81ff&#34;&gt;28&lt;/span&gt;,&lt;span style=&#34;color:#ae81ff&#34;&gt;28&lt;/span&gt;,&lt;span style=&#34;color:#ae81ff&#34;&gt;1&lt;/span&gt;])&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;      &lt;span style=&#34;color:#66d9ef&#34;&gt;yield&lt;/span&gt; ([input_image])&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;converter &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; tf&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;lite&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;TFLiteConverter&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;from_keras_model(keras_model)&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;converter&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;optimizations &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; [tf&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;lite&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;Optimize&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;DEFAULT]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;converter&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;representative_dataset &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; representative_dataset_gen&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;tflite_quant_model &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; converter&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;convert()&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;with&lt;/span&gt; open(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;7seg_InOutFloat_intQuantize.tflite&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#39;wb&amp;#39;&lt;/span&gt;) &lt;span style=&#34;color:#66d9ef&#34;&gt;as&lt;/span&gt; o_:&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    o_&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;write(tflite_quant_model)&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;ol start=&#34;2&#34;&gt;&#xA;&lt;li&gt;2.量子化を行ったmodel.tfliteをM5core2上で動くようにCファイルに変換します&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-bash&#34; data-lang=&#34;bash&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    ! xxd -i &lt;span style=&#34;color:#f92672&#34;&gt;{&lt;/span&gt;MODEL_TFLITE_PATH&lt;span style=&#34;color:#f92672&#34;&gt;}&lt;/span&gt; &amp;gt; model.c&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;ul&gt;&#xA;&lt;li&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;xxd：ファイルを16進数表記で出力。「-i」オプションはC言語のインクルードファイル形式で表示する&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h1 id=&#34;5-tfmicroライブラリの作成&#34;&gt;5. tfmicroライブラリの作成&lt;/h1&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;PlatformIoでのM5core2の開発環境は以下のサイトを参考に行いました。&lt;/li&gt;&#xA;&lt;li&gt;&lt;a href=&#34;https://qiita.com/desertfox_i/items/a6ff7deaa0a0b3802bcd&#34;&gt;VSCodeとPlatformIOでM5Stack Core2開発&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;Tensorflow liteをM5core2で使えるようにするためにtfliteのライブラリを自分で作成する必要があります&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;1.PlatformIOでtfmicroというプロジェクトを作成する(boardはM5stack Core2を選択)&lt;/li&gt;&#xA;&lt;li&gt;2.TensorFlow_esp32をcloneする&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-bash&#34; data-lang=&#34;bash&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    git clone git@github.com:DefiosLab/TensorFlow_esp32.git&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;ol start=&#34;3&#34;&gt;&#xA;&lt;li&gt;3.クローンしてきたTensorflow_esp32/PlatformIO/tfmicro/lib/tfmicroをlib/に入れる&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-bash&#34; data-lang=&#34;bash&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    cp -r Tensorflow_esp32/PlatformIO/tfmicro/lib/tfmicro &lt;span style=&#34;color:#e6db74&#34;&gt;${&lt;/span&gt;Project&lt;span style=&#34;color:#e6db74&#34;&gt;}&lt;/span&gt;/lib&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;h1 id=&#34;6-m5core2とカメラの接続&#34;&gt;6. M5core2とカメラの接続&lt;/h1&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;M5core2とカメラはuartで通信を行います。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;2.M5Core2とカメラをGroveケーブルで接続します&lt;/p&gt;</description>
    </item>
    <item>
      <title>M5Stackで高速なセンシングを目指したら苦労した話</title>
      <link>https://DefiosLab.github.io/post/high_speed_sensing_m5/</link>
      <pubDate>Sat, 24 Dec 2022 00:00:00 +0000</pubDate>
      <guid>https://DefiosLab.github.io/post/high_speed_sensing_m5/</guid>
      <description>&lt;p&gt;この記事は「IoTLT Advent Calendar 2022」の23日目です。&lt;/p&gt;&#xA;&lt;p&gt;&#xA;&lt;div class=&#34;iframely-embed&#34;&gt;&lt;div class=&#34;iframely-responsive&#34; style=&#34;height: 140px; padding-bottom: 0;&#34;&gt;&lt;a href=&#34;https://qiita.com/advent-calendar/2022/iotlt&#34; data-iframely-url=&#34;//iframely.net/yfMRalm?card=small&#34;&gt;&lt;/a&gt;&lt;/div&gt;&lt;/div&gt;&lt;script async src=&#34;//iframely.net/embed.js&#34;&gt;&lt;/script&gt;&#xA;&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h1 id=&#34;1m5stackっていいよね&#34;&gt;1．M5Stackっていいよね&lt;/h1&gt;&#xA;&lt;p&gt;&lt;a href=&#34;https://docs.m5stack.com/en/core/basic_v2.6&#34;&gt;M5Stack&lt;/a&gt;とは、ESP32を搭載したマイコンモジュールで、モノによりますが最初から液晶付いてるし、ボタン付いてるし、スピーカー/マイク、IMUなど初期搭載センサー山盛りで、Wi-FiやBluetoothまで繋がっちゃうというめっちゃ便利な開発機です。&lt;br&gt;&#xA;便利さもさることながら、今まで私がIoT工作でよく使っていたRaspberryPiは最近個人では入手しづらいですが、M5Stackは安定して売っています！欲しいなって思ったときに秋葉原で買えます。&lt;br&gt;&#xA;そんな入手し安さも相まって、最近は業務の製品開発でも使ったりお気に入りになりつつあるデバイスです。&lt;/p&gt;&#xA;&lt;blockquote class=&#34;twitter-tweet&#34;&gt;&lt;p lang=&#34;zxx&#34; dir=&#34;ltr&#34;&gt;&lt;a href=&#34;https://t.co/iZlu48cwvr&#34;&gt;pic.twitter.com/iZlu48cwvr&lt;/a&gt;&lt;/p&gt;&amp;mdash; 大将(Taisyo) (@T_taisyou) &lt;a href=&#34;https://twitter.com/T_taisyou/status/1605532841516838912?ref_src=twsrc%5Etfw&#34;&gt;December 21, 2022&lt;/a&gt;&lt;/blockquote&gt; &lt;script async src=&#34;https://platform.twitter.com/widgets.js&#34; charset=&#34;utf-8&#34;&gt;&lt;/script&gt;&#xA;&lt;hr&gt;&#xA;&lt;h1 id=&#34;2-m5stackを本格的に使いたかった&#34;&gt;2. M5Stackを本格的に使いたかった&lt;/h1&gt;&#xA;&lt;p&gt;M5StackはIoT入門教材にも使われたり、個人的には初心者の勉強向きかなとも思っていたんですが「画面も付いてるし、SDスロット付いてるし、中身ESP32だし、これをベースに組み込みシステム作ってもいいんじゃない？」ということで今までPICとかAVRとかPSoCとかをベースにマイコンから基板起こしてLCDやSDカードドライバなどを自分で書いていたようなシステムのベースをこれに置き換えて、もっと開発を簡単にしよう！と本格的な使用を検討することになりました。&lt;/p&gt;&#xA;&lt;p&gt;ということで、自作したコントローラーの入力でロボットを操作することを想定して、単純にA/Dで入力した値をそのままD/Aで出すデバイスを試しに作ってみようと思いました。&lt;br&gt;&#xA;M5StackにはSDカードスロットや液晶が付いてるので、操作記録をSDに記録したり、今のロボットのパワー出力を画面にかっこよく表示させることも将来的にできるかなと思ってベースにM5を選んでみました。&lt;br&gt;&#xA;&lt;figure&gt;&lt;img src=&#34;https://DefiosLab.github.io/post/high_speed_sensing_m5/machine_robot_contest.png&#34; width=&#34;200px&#34;&gt;&#xA;&lt;/figure&gt;&#xA;&lt;/p&gt;&#xA;&lt;p&gt;仕様としては、コントローラ操作(アナログスティックとか)の細かい動きや素早い動きでも反応良くしたかったのと、&#xA;処理内容としては「ADCで値を取得して、ちょっと計算して、DACで出すだけ」というマイコンにやらせる仕事にしてはとても簡単だったので&lt;strong&gt;希望動作周期は1kHz&lt;/strong&gt;としました。&lt;br&gt;&#xA;PICマイコンならもっとセンサーやタスクが多くてもこれぐらいの速度でADC-&amp;gt;DACできたし、ESP32がコアのM5Stackならバッチリっでしょ。と思っていました。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h1 id=&#34;3-adcdacに何を使うか&#34;&gt;3. ADC/DACに何を使うか&lt;/h1&gt;&#xA;&lt;p&gt;M5Stack Base V2.6の場合、GPIOで使えるADC, DACはそれぞれ2個ずつで、&#xA;扱える電圧は0~3.3V、分解能は12bitで「もうちょっと分解能欲しいときもあるかもだけど、とりあえずまぁいいかなぁ」と思っていたんですが、個体差あるかもしれませんがどうやらノイズが凄いらしいという情報もいくつかあったので、内蔵AD/DAは使わない方向で作ることにしました。&lt;/p&gt;&#xA;&lt;blockquote class=&#34;twitter-tweet&#34;&gt;&lt;p lang=&#34;ja&#34; dir=&#34;ltr&#34;&gt;ESP32のADC、元々電圧範囲真ん中以外かなり線形性悪かったような気がします。M5Stack固有でさらにノイズ乗ってる可能性も高いです。&lt;/p&gt;&amp;mdash; Kenta IDA (@ciniml) &lt;a href=&#34;https://twitter.com/ciniml/status/1235201261605019648?ref_src=twsrc%5Etfw&#34;&gt;March 4, 2020&lt;/a&gt;&lt;/blockquote&gt; &lt;script async src=&#34;https://platform.twitter.com/widgets.js&#34; charset=&#34;utf-8&#34;&gt;&lt;/script&gt;&lt;br&gt;&#xA;&lt;p&gt;M5Stackといえばユニット(センサーなど)がケーブル1本接続するだけで簡単に使えるのが特徴の一つです。&lt;br&gt;&#xA;探してみたらADC/DACモジュールもあったので &lt;strong&gt;「これをM5に ちょいと くっつけて、 さっ とコード書いたらもう完成じゃん！！」&lt;/strong&gt; とM5の便利さに興奮しつつADC/DACはこれを使うことにしました。&lt;br&gt;&#xA;ADCは0〜12V検出で最大分解能16bit、DACは最大分解能12bitで出力電圧0〜3.3Vです。&lt;/p&gt;&#xA;&lt;div class=&#34;iframely-embed&#34;&gt;&lt;div class=&#34;iframely-responsive&#34; style=&#34;height: 140px; padding-bottom: 0;&#34;&gt;&lt;a href=&#34;https://www.switch-science.com/products/5221&#34; data-iframely-url=&#34;//iframely.net/4Ej4DFw&#34;&gt;&lt;/a&gt;&lt;/div&gt;&lt;/div&gt;&lt;script async src=&#34;//iframely.net/embed.js&#34;&gt;&lt;/script&gt;&#xA;&lt;div class=&#34;iframely-embed&#34;&gt;&lt;div class=&#34;iframely-responsive&#34; style=&#34;height: 140px; padding-bottom: 0;&#34;&gt;&lt;a href=&#34;https://www.switch-science.com/products/5222&#34; data-iframely-url=&#34;//iframely.net/u9ne4bm&#34;&gt;&lt;/a&gt;&lt;/div&gt;&lt;/div&gt;&lt;script async src=&#34;//iframely.net/embed.js&#34;&gt;&lt;/script&gt;&lt;br&gt;&#xA;&lt;p&gt;今回使おうと思っていたM5Stack Basicにはユニットを繋げられる穴が一つしかなかったのでハブも買いました。&lt;br&gt;&#xA;将来的にいっぱい繋げることも考えて6ポートに増やせるやつを選びました。&lt;br&gt;&#xA;チャンネルの取得制御の仕方はポーリング制御らしいです。&lt;/p&gt;&#xA;&lt;div class=&#34;iframely-embed&#34;&gt;&lt;div class=&#34;iframely-responsive&#34; style=&#34;height: 170px; padding-bottom: 0;&#34;&gt;&lt;a href=&#34;https://www.switch-science.com/products/7588&#34; data-iframely-url=&#34;//iframely.net/KDI2aRK&#34;&gt;&lt;/a&gt;&lt;/div&gt;&lt;/div&gt;&lt;script async src=&#34;//iframely.net/embed.js&#34;&gt;&lt;/script&gt;&lt;br&gt;&#xA;&lt;hr&gt;&#xA;&lt;h1 id=&#34;4-1-速さが足りない---うっかりミス編&#34;&gt;4-1. 速さが足りない - うっかりミス編&lt;/h1&gt;&#xA;&lt;p&gt;ちょっと察しのいい方はすでに先ほど貼った商品ページのスペックからオチが予想できていたかもしれませんが&amp;hellip;&lt;/p&gt;</description>
    </item>
    <item>
      <title>Universal IntrinsicsでSIMDプログラミング</title>
      <link>https://DefiosLab.github.io/post/cv-universal-intrinsic/</link>
      <pubDate>Sat, 24 Dec 2022 00:00:00 +0000</pubDate>
      <guid>https://DefiosLab.github.io/post/cv-universal-intrinsic/</guid>
      <description>&lt;p&gt;&lt;a href=&#34;https://qiita.com/advent-calendar/2022/ipu&#34;&gt;岩手県立大学アドベントカレンダー18日目&lt;/a&gt;の記事です（大遅刻）&lt;/p&gt;&#xA;&lt;p&gt;&#xA;&lt;div class=&#34;iframely-embed&#34;&gt;&lt;div class=&#34;iframely-responsive&#34; style=&#34;height: 140px; padding-bottom: 0;&#34;&gt;&lt;a href=&#34;https://qiita.com/advent-calendar/2022/ipu&#34; data-iframely-url=&#34;//iframely.net/ImHYOMe?card=small&#34;&gt;&lt;/a&gt;&lt;/div&gt;&lt;/div&gt;&lt;script async src=&#34;//iframely.net/embed.js&#34;&gt;&lt;/script&gt;&#xA;&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h1 id=&#34;自己紹介&#34;&gt;自己紹介&lt;/h1&gt;&#xA;&lt;p&gt;はじめまして近藤鯛貴です。&lt;/p&gt;&#xA;&lt;p&gt;岩手県立大学ソフトウェア情報学研究科の博士課程に在学しつつ、Defios株式会社というベンチャー企業を経営しています。&lt;/p&gt;&#xA;&lt;p&gt;大学ではラズパイとかJetsonなどの小型コンピュータを対象に高速化の研究を行っており、会社ではAI/IoT分野を中心に受託開発やコンサルティング業務を行ってます。&lt;/p&gt;&#xA;&lt;p&gt;最近Defiosで技術ブログを立ち上げました。せっかくなのでこちらから投稿します。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h1 id=&#34;1はじめに&#34;&gt;1．はじめに&lt;/h1&gt;&#xA;&lt;p&gt;現代の大体のCPUではSIMD（Single Instruction Multiple Data)命令が実行可能です。SIMDとは一つの命令で複数のデータを処理する並列化形態です。上手く使うことでソフトウェアを高速化することが出来ます。&lt;br&gt;&#xA;しかし、プロセッサのアーキテクチャや製品種類によって対応しているSIMDのbit幅や命令セットが異なり、様々なコンピュータ上でSIMDを活用するアプリケーションを実装するのは少し厄介です。&lt;/p&gt;&#xA;&lt;p&gt;ふと、画像処理ライブラリであるOpenCVのSIMD対応がどうなっているのか気になって調べたところ以下の記事を見つけました。&lt;/p&gt;&#xA;&lt;p&gt;&#xA;&lt;div class=&#34;iframely-embed&#34;&gt;&lt;div class=&#34;iframely-responsive&#34; style=&#34;height: 140px; padding-bottom: 0;&#34;&gt;&lt;a href=&#34;https://qiita.com/tomoaki_teshima/items/8195c25a3f0448ce300b&#34; data-iframely-url=&#34;//iframely.net/qt3Wvjm?card=small&#34;&gt;&lt;/a&gt;&lt;/div&gt;&lt;/div&gt;&lt;script async src=&#34;//iframely.net/embed.js&#34;&gt;&lt;/script&gt;&#xA;&lt;div class=&#34;iframely-embed&#34;&gt;&lt;div class=&#34;iframely-responsive&#34; style=&#34;height: 140px; padding-bottom: 0;&#34;&gt;&lt;a href=&#34;https://qiita.com/hon_no_mushi/items/df9b8159e7fb47c9e30c&#34; data-iframely-url=&#34;//iframely.net/TLsWpHM?card=small&#34;&gt;&lt;/a&gt;&lt;/div&gt;&lt;/div&gt;&lt;script async src=&#34;//iframely.net/embed.js&#34;&gt;&lt;/script&gt;&#xA;&lt;/p&gt;&#xA;&lt;p&gt;どうやら、OpenCVでは&lt;strong&gt;Universal Intrinsic&lt;/strong&gt;というライブラリを用いてSIMDアーキテクチャの差異を吸収しているようです。&lt;/p&gt;&#xA;&lt;p&gt;本記事ではこのUniversal Intrinsic(以下UI)の使い方と簡単な実装例を紹介します。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h1 id=&#34;2使い方&#34;&gt;2．使い方&lt;/h1&gt;&#xA;&lt;p&gt;普通にOpenCVをインストールして、&lt;code&gt;&amp;lt;opencv2/core/simd_intrinsics.hpp&amp;gt;&lt;/code&gt;をincludeすればUIを使うことが出来ます。&lt;br&gt;&#xA;SIMDが有効になっているか、どのbit幅が使えるかはOpenCVのサンプルの&lt;a href=&#34;https://github.com/opencv/opencv/blob/4.x/samples/cpp/simd_basic.cpp&#34;&gt;simd_basic.cpp&lt;/a&gt;を実行することで確認できます。&lt;br&gt;&#xA;以下AVX2環境でのsimd_basic.cppの実行結果&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;&#xA;==================  macro dump  ===================&#xA;CV_SIMD is defined: 1&#xA;CV_SIMD_WIDTH is defined: 32&#xA;CV_SIMD128 is defined: 1&#xA;CV_SIMD256 is defined: 1&#xA;CV_SIMD512 is defined: 0&#xA;CV_SIMD_64F is defined: 1&#xA;CV_SIMD_FP16 is defined: 0&#xA;=================  sizeof checks  =================&#xA;sizeof(v_uint8) = 32&#xA;sizeof(v_int32) = 32&#xA;sizeof(v_float32) = 32&#xA;==================  arithm check  =================&#xA;(vx_setall_u8(10) + vx_setall_u8(45)).get0() =&amp;gt; 55&#xA;=====================  done  ======================&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;AVX2のSIMD幅は256bitです。&lt;code&gt;CV_SIMD256&lt;/code&gt;が1となっているので有効になっていることが分かります。&lt;br&gt;&#xA;ちなみに、私の環境ではコンパイルする際に-mavx2(gcc)オプションを入れないとAVX2が有効にならずにSSEで実行されました。&lt;/p&gt;</description>
    </item>
    <item>
      <title>M5Stackで始めるIoT開発入門〜学習リモコン〜</title>
      <link>https://DefiosLab.github.io/post/remote_contoroller_mqtt/</link>
      <pubDate>Tue, 20 Dec 2022 00:00:00 +0000</pubDate>
      <guid>https://DefiosLab.github.io/post/remote_contoroller_mqtt/</guid>
      <description>&lt;h1 id=&#34;1はじめに&#34;&gt;1．はじめに&lt;/h1&gt;&#xA;&lt;p&gt;本記事は、IoT開発初心者である私が&lt;strong&gt;M5Stackで学習リモコンを作成し、ネットワーク経由で家電を操作してみよう&lt;/strong&gt;という内容です。&lt;/p&gt;&#xA;&lt;p&gt;M5StackはWi-FiとBluetoothによる無線通信機能を備えたESP32や液晶ディスプレイ、microSDカードスロットなどの周辺機器がまとまった小型のマイコンモジュールです。ユニット(センサーなど)を接続することで簡単にセンサーから値を取得できます。この記事を通して、M5Stackでの開発やMQTTなど基本的なIoT開発の仕方を勉強するきっかけや参考になればいいと思います。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h1 id=&#34;2開発環境と構成図&#34;&gt;2．開発環境と構成図&lt;/h1&gt;&#xA;&lt;p&gt;今回作成するシステムの構成図はこんな感じです。ただ、学習リモコンを作るだけではIoTにはならないので、ネットワーク経由でも操作できるようにしました。IoTでの通信といえばMQTTと聞いたので勉強も兼ねて実装していきたいと思います。&lt;/p&gt;&#xA;&lt;figure&gt;&lt;img src=&#34;https://DefiosLab.github.io/post/remote_contoroller_mqtt/IoT_system.png&#34;&#xA;    alt=&#34;システム構成図&#34; width=&#34;800px&#34;&gt;&#xA;&lt;/figure&gt;&#xA;&#xA;&lt;p&gt;開発環境は以下の通りです。M5GO IoTスターターキットを購入すれば、IRセンサーの他にENVⅢ(温湿度・気圧)センサーなども付いてくるので初めてIoT開発する方にはおすすめです。前提として、Arduino IDEでのM5Stackの環境は整っていることとします。&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;端末：M5GO (M5STACK BASICでもOK)&lt;/li&gt;&#xA;&lt;li&gt;センサー：IRセンサー(赤外線センサー)&lt;/li&gt;&#xA;&lt;li&gt;サーバー：Raspberry Pi 4 (Linuxの入ったPCなら代替可)&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;hr&gt;&#xA;&lt;h1 id=&#34;3学習リモコン作成&#34;&gt;3．学習リモコン作成&lt;/h1&gt;&#xA;&lt;h2 id=&#34;31準備&#34;&gt;3.1．準備&lt;/h2&gt;&#xA;&lt;p&gt;最初に学習リモコンから作成していきたいと思います。まずは、&lt;code&gt;IRremoteESP8266&lt;/code&gt;のライブラリをインストールします。&lt;/p&gt;&#xA;&lt;h2 id=&#34;32受信編&#34;&gt;3.2．受信編&lt;/h2&gt;&#xA;&lt;p&gt;次に既存のリモコンから赤外線データを取得します。今回私は、電気をON・OFFするこちらのアイリスオオヤマ製のリモコンを使用します。&lt;/p&gt;&#xA;&lt;figure&gt;&lt;img src=&#34;https://DefiosLab.github.io/post/remote_contoroller_mqtt/IRIS.png&#34;&#xA;    alt=&#34;システム構成図&#34; width=&#34;300px&#34;&gt;&#xA;&lt;/figure&gt;&#xA;&#xA;&lt;p&gt;まずは、&lt;code&gt;IRremoteESP8266&lt;/code&gt;のサンプルコードを取得します。&#xA;赤外線を受信するサンプルコードは、「ファイル」→「スケッチ例」→「IRremoteESP8266」の「IRrecvDumpV2」から取得できます。&lt;/p&gt;&#xA;&lt;figure&gt;&lt;img src=&#34;https://DefiosLab.github.io/post/remote_contoroller_mqtt/dump_sample.png&#34;&#xA;    alt=&#34;サンプルコード取得&#34; width=&#34;800px&#34;&gt;&#xA;&lt;/figure&gt;&#xA;&#xA;&lt;p&gt;M5GOでは、受信するPIN番号が36、送信するPIN番号が26番です。なので、受信するPIN番号を36に変更する必要があります。&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-c&#34; data-lang=&#34;c&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;const&lt;/span&gt; &lt;span style=&#34;color:#66d9ef&#34;&gt;uint16_t&lt;/span&gt; kRecvPin &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;36&lt;/span&gt;;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;変更したら、コンパイル＋書き込みを行い、シリアルモニターを開いてIRセンサーに向けてリモコンのボタンを押しデータ受信させます。今回は「ON・OFF」、「明るく」、「暗い」のデータを受信します。赤外線データを受信すると以下のようなにシリアルモニタに表示されるので&lt;code&gt;uint16_t raw_data[85]&lt;/code&gt;のメモを取ります。&#xA;&lt;figure&gt;&lt;img src=&#34;https://DefiosLab.github.io/post/remote_contoroller_mqtt/dump_result.png&#34;&#xA;    alt=&#34;受信結果&#34; width=&#34;800px&#34;&gt;&#xA;&lt;/figure&gt;&#xA;&lt;/p&gt;&#xA;&lt;h2 id=&#34;33送信編&#34;&gt;3.3．送信編&lt;/h2&gt;&#xA;&lt;p&gt;赤外線データを受信したら、次に学習リモコンを作成します。現時点では、Web UIやMQTTの実装はしていないので、ボタンが押された場合データを送信するように実装します。&#xA;Aボタンが「切/入」、Bボタンが「明るく」、Cボタンが「暗く」のデータを送信するように実装していきます。&#xA;コードについては、コード内にコメントを書いたので説明は省略します。コンパイル＋書き込みを行い、実際に家電(今回は電気)を操作できたら学習リモコンは完成です！&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;&#34;&gt;&lt;code class=&#34;language-C&#34; data-lang=&#34;C&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;#include&lt;/span&gt; &lt;span style=&#34;color:#75715e&#34;&gt;&amp;lt;M5Stack.h&amp;gt;&lt;/span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;#include&lt;/span&gt; &lt;span style=&#34;color:#75715e&#34;&gt;&amp;lt;IRremoteESP8266.h&amp;gt;&lt;/span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;#include&lt;/span&gt; &lt;span style=&#34;color:#75715e&#34;&gt;&amp;lt;IRsend.h&amp;gt;&lt;/span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;#define DATA_SIZE 85 &lt;/span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;// 送信する赤外線データのサイズ&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&lt;/span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;#define TRANSMIT_CAPTURE_SIZE 38 &lt;/span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;// 周波数. 赤外線リモコンの仕様が38khzなので、38で固定&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;int&lt;/span&gt; ir_send_pin &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;26&lt;/span&gt;; &lt;span style=&#34;color:#75715e&#34;&gt;// 送信するPIN番号&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;IRsend &lt;span style=&#34;color:#a6e22e&#34;&gt;irsend&lt;/span&gt;(ir_send_pin);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;// 送信する赤外線データ&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&lt;/span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;uint16_t&lt;/span&gt; on_off[&lt;span style=&#34;color:#ae81ff&#34;&gt;85&lt;/span&gt;] &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; {&lt;span style=&#34;color:#ae81ff&#34;&gt;2022&lt;/span&gt;, &lt;span style=&#34;color:#ae81ff&#34;&gt;1004&lt;/span&gt;,  &lt;span style=&#34;color:#ae81ff&#34;&gt;5584&lt;/span&gt;,... , &lt;span style=&#34;color:#ae81ff&#34;&gt;1494&lt;/span&gt;, &lt;span style=&#34;color:#ae81ff&#34;&gt;532&lt;/span&gt;,  &lt;span style=&#34;color:#ae81ff&#34;&gt;512&lt;/span&gt;};  &lt;span style=&#34;color:#75715e&#34;&gt;// 切/入&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&lt;/span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;uint16_t&lt;/span&gt; brightly[&lt;span style=&#34;color:#ae81ff&#34;&gt;85&lt;/span&gt;] &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; {&lt;span style=&#34;color:#ae81ff&#34;&gt;2050&lt;/span&gt;, &lt;span style=&#34;color:#ae81ff&#34;&gt;978&lt;/span&gt;,  &lt;span style=&#34;color:#ae81ff&#34;&gt;5586&lt;/span&gt;,...,  &lt;span style=&#34;color:#ae81ff&#34;&gt;1550&lt;/span&gt;, &lt;span style=&#34;color:#ae81ff&#34;&gt;480&lt;/span&gt;,  &lt;span style=&#34;color:#ae81ff&#34;&gt;508&lt;/span&gt;};  &lt;span style=&#34;color:#75715e&#34;&gt;// 明るく&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&lt;/span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;uint16_t&lt;/span&gt; dark[&lt;span style=&#34;color:#ae81ff&#34;&gt;85&lt;/span&gt;] &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; {&lt;span style=&#34;color:#ae81ff&#34;&gt;2020&lt;/span&gt;, &lt;span style=&#34;color:#ae81ff&#34;&gt;1006&lt;/span&gt;,  &lt;span style=&#34;color:#ae81ff&#34;&gt;5578&lt;/span&gt;,...,  &lt;span style=&#34;color:#ae81ff&#34;&gt;488&lt;/span&gt;, &lt;span style=&#34;color:#ae81ff&#34;&gt;516&lt;/span&gt;,  &lt;span style=&#34;color:#ae81ff&#34;&gt;536&lt;/span&gt;};  &lt;span style=&#34;color:#75715e&#34;&gt;// 暗く&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;void&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;setup&lt;/span&gt;() {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  &lt;span style=&#34;color:#75715e&#34;&gt;// M5Stackの初期化&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&lt;/span&gt;  M5.&lt;span style=&#34;color:#a6e22e&#34;&gt;begin&lt;/span&gt;();&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  M5.Power.&lt;span style=&#34;color:#a6e22e&#34;&gt;begin&lt;/span&gt;();&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  &lt;span style=&#34;color:#75715e&#34;&gt;// 26番ピンの設定&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&lt;/span&gt;  &lt;span style=&#34;color:#a6e22e&#34;&gt;pinMode&lt;/span&gt;(ir_send_pin, OUTPUT);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  &lt;span style=&#34;color:#a6e22e&#34;&gt;digitalWrite&lt;/span&gt;(ir_send_pin, &lt;span style=&#34;color:#ae81ff&#34;&gt;1&lt;/span&gt;);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;void&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;loop&lt;/span&gt;() {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  M5.&lt;span style=&#34;color:#a6e22e&#34;&gt;update&lt;/span&gt;();&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  &lt;span style=&#34;color:#75715e&#34;&gt;// 各ボタンが押された際に、それぞれの赤外線データを送信する&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&lt;/span&gt;  &lt;span style=&#34;color:#66d9ef&#34;&gt;if&lt;/span&gt; (M5.BtnA.&lt;span style=&#34;color:#a6e22e&#34;&gt;wasPressed&lt;/span&gt;()) {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    irsend.&lt;span style=&#34;color:#a6e22e&#34;&gt;sendRaw&lt;/span&gt;(on_off, DATA_SIZE, TRANSMIT_CAPTURE_SIZE);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  } &lt;span style=&#34;color:#66d9ef&#34;&gt;else&lt;/span&gt; &lt;span style=&#34;color:#66d9ef&#34;&gt;if&lt;/span&gt; (M5.BtnB.&lt;span style=&#34;color:#a6e22e&#34;&gt;wasPressed&lt;/span&gt;()) {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    irsend.&lt;span style=&#34;color:#a6e22e&#34;&gt;sendRaw&lt;/span&gt;(brightly, DATA_SIZE, TRANSMIT_CAPTURE_SIZE);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  } &lt;span style=&#34;color:#66d9ef&#34;&gt;else&lt;/span&gt; &lt;span style=&#34;color:#66d9ef&#34;&gt;if&lt;/span&gt; (M5.BtnC.&lt;span style=&#34;color:#a6e22e&#34;&gt;wasPressed&lt;/span&gt;()) {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    irsend.&lt;span style=&#34;color:#a6e22e&#34;&gt;sendRaw&lt;/span&gt;(dark, DATA_SIZE, TRANSMIT_CAPTURE_SIZE);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;hr&gt;&#xA;&lt;h1 id=&#34;4mqtt&#34;&gt;4．MQTT&lt;/h1&gt;&#xA;&lt;p&gt;MQTT(Message Queue Telemetry Transport)とは、IoT向けのメッセージングプロトコルです。publish/subscribeモデルという仕組みに基づいており、双方向通信可能、非常に軽量で効率的なためIoTでの通信で用いられます。&#xA;publish/subscribeモデルでは、メッセージの送信側(Publisher)と受信側(Subscriber)の間にMQTTサーバー(Broker)が入ってメッセージを扱います。&lt;br&gt;&#xA;今回はMQTT Brokerとして、OSSであるMosquittoをRaspBerry Piにインストールしていきます。また、動作確認もしたいのでクライアントツールもインストールします。&lt;/p&gt;</description>
    </item>
    <item>
      <title></title>
      <link>https://DefiosLab.github.io/archives/</link>
      <pubDate>Tue, 01 Nov 2022 00:00:00 +0000</pubDate>
      <guid>https://DefiosLab.github.io/archives/</guid>
      <description></description>
    </item>
    <item>
      <title>このブログについて</title>
      <link>https://DefiosLab.github.io/post/about/</link>
      <pubDate>Tue, 01 Nov 2022 00:00:00 +0000</pubDate>
      <guid>https://DefiosLab.github.io/post/about/</guid>
      <description>&lt;p&gt;Defios株式会社 DefiosLab所長の&lt;a href=&#34;https://twitter.com/T_taisyou&#34;&gt;Taisyo&lt;/a&gt;です。&lt;br&gt;&#xA;普段AIやIoT関係の開発を行う弊社の社員が、技術から遊び、岩手での仕事の様子などあらゆるテーマについて自由に書く何でもブログを開設しました。&lt;br&gt;&#xA;これから不定期に記事を追加していく予定です。&lt;br&gt;&#xA;記事についてのコメントは&lt;a href=&#34;https://twitter.com/intent/tweet?hashtags=Defios_Lab&#34;&gt;#Defios_Lab&lt;/a&gt;のハッシュタグで、TwitterやFacebookに投稿してもらえると嬉しいです！&lt;/p&gt;&#xA;&lt;p&gt;ブログのデザインはレトロなPCやゲームが好きな私のこだわりのデザインですが、ちょっと見づらいかも知れませんね&amp;hellip;&lt;br&gt;&#xA;・・・そのようなWebデザインに関する意見もお待ちしてます！&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;p&gt;This blog is written by an employee of Defios Corporation, an IT company that develops AI and IoT.&lt;br&gt;&#xA;I write articles mainly about technology.&lt;br&gt;&#xA;I also write articles about Iwate Prefecture in Japan, where the company&amp;rsquo;s office is located.&lt;/p&gt;&#xA;&lt;p&gt;― Director of DefiosLaboratory Takeda Hiromasa&lt;/p&gt;&#xA;&lt;figure&gt;&lt;img src=&#34;https://DefiosLab.github.io/post/about/about.jpg&#34;&#xA;    alt=&#34;Defios株式会社 本社&#34; width=&#34;500px&#34;&gt;&#xA;&lt;/figure&gt;</description>
    </item>
    <item>
      <title>About</title>
      <link>https://DefiosLab.github.io/about/</link>
      <pubDate>Sat, 01 Oct 2022 00:00:00 +0000</pubDate>
      <guid>https://DefiosLab.github.io/about/</guid>
      <description>&lt;p&gt;&lt;strong&gt;このブログは、Defios株式会社の様々な 挑戦&lt;del&gt;Defio&lt;/del&gt; の記録を書いているブログです。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;と、かっこよくTopには書きましたが&amp;hellip;&lt;br&gt;&#xA;普段AIやIoT関係の開発を行う弊社の社員が、技術から遊び、岩手での仕事の様子などあらゆるテーマについて自由に書く何でもブログです。&lt;br&gt;&#xA;記事についてのコメントは&lt;a href=&#34;https://twitter.com/intent/tweet?hashtags=Defios_Lab&#34;&gt;#Defios_Lab&lt;/a&gt;のハッシュタグで、TwitterやFacebookに投稿してもらえると嬉しいです。&lt;/p&gt;&#xA;&lt;p&gt;― DefiosLab 所長 竹田 大将&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;p&gt;This blog is written by an employee of Defios Corporation, an IT company that develops AI and IoT.&lt;br&gt;&#xA;I write articles mainly about technology.&lt;br&gt;&#xA;I also write articles about Iwate Prefecture in Japan, where the company&amp;rsquo;s office is located.&lt;/p&gt;&#xA;&lt;p&gt;― Director of DefiosLaboratory Takeda Hiromasa&lt;/p&gt;&#xA;&lt;figure&gt;&lt;img src=&#34;https://DefiosLab.github.io/about/about.jpg&#34;&#xA;    alt=&#34;Defios株式会社 本社&#34; width=&#34;300px&#34;&gt;&#xA;&lt;/figure&gt;</description>
    </item>
  </channel>
</rss>