M5StickCのマイクを使ってみる その2 録音してみた

現時点の情報ですので、最新情報はM5StickC非公式日本語リファレンスを確認してください。

概要

M5StickCのマイクを使ってみる その1

サンプルスケッチを動かす以上していなかったマイクを触ってみました。もう少し掘り下げて調べる必要がありそうです。 現時点での情報のため、最新情報はM5StickC非公式日本語リファレンスを確認お願いします。 概要 M5StickCにはI2S経...

lang-ship.com

2019.09.12

マイクからの入力データをオンメモリに保存して、シリアルモニタ経由で保存することができました。

SPIFFSとかに保存して、Wi-fi AP経由でダウンロードなども考えましたが、まずはかんたんに利用できるもので検証しました。

MICのスペックについて

マイクのスペックです。データシートはまだ読めていません。

マイクのデータ量について

マイクは1サンプリングあたり2バイトです。実際には12ビットなので4ビット分は利用していないはずです。

サンプリングレートが44,100Hzの場合、1秒あたり88,200バイトのデータが必要になります。

DMA転送単位を512バイトにすると、1秒あたり172.3回転送しなければならず、1回あたり5.8ms以下で処理しないといけないことが、上の表からわかります。

サンプリングレートの目安ですが、CDが44,100Hzで、音声認識では16,384Hzがよく使われているようです。実際11,025Hzですと、がびがびで何を言っているか、わかりにくいです。

サンプルスケッチ

#include <M5StickC.h>
#include <driver/i2s.h>
#define htonl(x) ( ((x)<<24 & 0xFF000000UL) | \
                   ((x)<< 8 & 0x00FF0000UL) | \
                   ((x)>> 8 & 0x0000FF00UL) | \
                   ((x)>>24 & 0x000000FFUL) )
#define PIN_CLK  0
#define PIN_DATA 34
#define SAMPLING_RATE (44100/2)
#define READ_LEN (2 * 512)
#define SAVE_LEN (900*100)
uint8_t READ_BUFFER[READ_LEN] = {0};
uint8_t SAVE_BUFFER[SAVE_LEN] = {0};
uint32_t savePos = 0;
bool recFlag = false;
uint16_t oldy[160];
int16_t *adcBuffer = NULL;
TaskHandle_t taskHandle;
size_t bytesread;
void i2sInit()
{
  i2s_config_t i2s_config = {
    .mode = (i2s_mode_t)(I2S_MODE_MASTER | I2S_MODE_RX | I2S_MODE_PDM),
    .sample_rate =  SAMPLING_RATE,
    .bits_per_sample = I2S_BITS_PER_SAMPLE_16BIT, // is fixed at 12bit, stereo, MSB
    .channel_format = I2S_CHANNEL_FMT_ALL_RIGHT,
    .communication_format = I2S_COMM_FORMAT_I2S,
    .intr_alloc_flags = ESP_INTR_FLAG_LEVEL1,
    .dma_buf_count = 2,
    .dma_buf_len = READ_LEN,
  };
  i2s_pin_config_t pin_config = {};
  pin_config.bck_io_num   = I2S_PIN_NO_CHANGE;
  pin_config.ws_io_num    = PIN_CLK;
  pin_config.data_out_num = I2S_PIN_NO_CHANGE;
  pin_config.data_in_num  = PIN_DATA;
  i2s_driver_install(I2S_NUM_0, &i2s_config, 0, NULL);
  i2s_set_pin(I2S_NUM_0, &pin_config);
  i2s_set_clk(I2S_NUM_0, SAMPLING_RATE, I2S_BITS_PER_SAMPLE_16BIT, I2S_CHANNEL_MONO);
  // 録音スタート
  recFlag = true;
  xTaskCreatePinnedToCore(mic_record_task, "mic_record_task", 2048, NULL, 1, &taskHandle, 1);
}
void mic_record_task (void* arg)
{
  savePos = 0;
  memset(SAVE_BUFFER, 0, SAVE_LEN);
  while (recFlag) {
    i2s_read(I2S_NUM_0, (char*) READ_BUFFER, READ_LEN, &bytesread, (100 / portTICK_RATE_MS));
    adcBuffer = (int16_t *)READ_BUFFER;
    showSignal();
    Serial.printf("bytesread = %d, SAVE_LEN=%d, savePos=%d\n", bytesread, SAVE_LEN, savePos);
    if ( (savePos + bytesread) < SAVE_LEN ) {
      memcpy( &SAVE_BUFFER[savePos], READ_BUFFER, bytesread );
      savePos += bytesread;
    }
    vTaskDelay(1 / portTICK_RATE_MS);
  }
  // タスク削除
  vTaskDelete(NULL);
}
void setup() {
  M5.begin();
  M5.Lcd.setRotation(3);
  M5.Lcd.fillScreen(WHITE);
  M5.Lcd.setTextColor(BLACK, WHITE);
  M5.Lcd.println("mic");
}
void showSignal() {
  // Offset
  int32_t offset_sum = 0;
  for (int n = 0; n < 160; n++) {
    offset_sum += (int16_t)adcBuffer[n];
  }
  int offset_val = -( offset_sum / 160 );
  // Auto Gain
  int max_val = 200;
  for (int n = 0; n < 160; n++) {
    int16_t val = (int16_t)adcBuffer[n] + offset_val;
    if ( max_val < abs(val) ) {
      max_val = abs(val);
    }
  }
  int y;
  for (int n = 0; n < 160; n++) {
    y = adcBuffer[n] + offset_val;
    y = map(y, -max_val, max_val, 10, 70);
    M5.Lcd.drawPixel(n, oldy[n], WHITE);
    M5.Lcd.drawPixel(n, y, BLACK);
    oldy[n] = y;
  }
}
void loop() {
  M5.update();
  if ( M5.BtnA.wasPressed() ) {
    // ボタン押した直後の雑音は録音しない
    delay(200);
    // REC
    i2sInit();
    M5.Lcd.setCursor(0, 0);
    M5.Lcd.println("mic rec...");
    Serial.println("REC ON");
  } else if ( M5.BtnA.wasReleased() ) {
    M5.Lcd.setCursor(0, 0);
    M5.Lcd.println("mic       ");
    recFlag = false;
    delay(100); // 録音終了まで待つ
    Serial.println("REC OFF");
    Serial.printf("size=%d, sec=%1.1f\n", savePos, (double)savePos / (SAMPLING_RATE * 2));
    Serial.printf("52494646");                        // RIFFヘッダ
    Serial.printf("%08lx", htonl(savePos + 44 - 8));  // 総データサイズ+44(チャンクサイズ)-8(ヘッダサイズ)
    Serial.printf("57415645");                        // WAVEヘッダ
    Serial.printf("666D7420");                        // フォーマットチャンク
    Serial.printf("10000000");                        // フォーマットサイズ
    Serial.printf("0100");                            // フォーマットコード
    Serial.printf("0100");                            // チャンネル数
    Serial.printf("%08lx", htonl(SAMPLING_RATE));     // サンプリングレート
    Serial.printf("%08lx", htonl(SAMPLING_RATE * 2)); // バイト／秒
    Serial.printf("0200");                            // ブロック境界
    Serial.printf("1000");                            // ビット／サンプル
    Serial.printf("64617461");                        // dataチャンク
    Serial.printf("%08lx", htonl(savePos));           // 総データサイズ
    for (int n = 0; n <= savePos; n++) {
      Serial.printf("%02x", SAVE_BUFFER[n]);
    }
    Serial.printf("\n");
  }
  delay(10);
}

実験用のちょっと不安定なコードなので、ハングアップをするかもしれません。

出力結果

M5StickC initializing...OK
REC ON
bytesread = 1024, SAVE_LEN=102400, savePos=0
bytesread = 1024, SAVE_LEN=102400, savePos=1024
bytesread = 1024, SAVE_LEN=102400, savePos=2048
bytesread = 1024, SAVE_LEN=102400, savePos=3072
bytesread = 1024, SAVE_LEN=102400, savePos=4096
bytesread = 1024, SAVE_LEN=102400, savePos=5120
bytesread = 1024, SAVE_LEN=102400, savePos=6144
bytesread = 1024, SAVE_LEN=102400, savePos=7168
bytesread = 1024, SAVE_LEN=102400, savePos=8192
bytesread = 1024, SAVE_LEN=102400, savePos=9216
bytesread = 1024, SAVE_LEN=102400, savePos=10240
bytesread = 1024, SAVE_LEN=102400, savePos=11264
bytesread = 1024, SAVE_LEN=102400, savePos=12288
bytesread = 1024, SAVE_LEN=102400, savePos=13312
bytesread = 1024, SAVE_LEN=102400, savePos=14336
bytesread = 1024, SAVE_LEN=102400, savePos=15360
bytesread = 1024, SAVE_LEN=102400, savePos=16384
bytesread = 1024, SAVE_LEN=102400, savePos=17408
bytesread = 1024, SAVE_LEN=102400, savePos=18432
bytesread = 1024, SAVE_LEN=102400, savePos=19456
bytesread = 1024, SAVE_LEN=102400, savePos=20480
bytesread = 1024, SAVE_LEN=102400, savePos=21504
bytesread = 1024, SAVE_LEN=102400, savePos=22528
bytesread = 1024, SAVE_LEN=102400, savePos=23552
bytesread = 1024, SAVE_LEN=102400, savePos=24576
bytesread = 1024, SAVE_LEN=102400, savePos=25600
bytesread = 1024, SAVE_LEN=102400, savePos=26624
bytesread = 1024, SAVE_LEN=102400, savePos=27648
bytesread = 1024, SAVE_LEN=102400, savePos=28672
bytesread = 1024, SAVE_LEN=102400, savePos=29696
bytesread = 1024, SAVE_LEN=102400, savePos=30720
bytesread = 1024, SAVE_LEN=102400, savePos=31744
bytesread = 1024, SAVE_LEN=102400, savePos=32768
bytesread = 1024, SAVE_LEN=102400, savePos=33792
bytesread = 1024, SAVE_LEN=102400, savePos=34816
bytesread = 1024, SAVE_LEN=102400, savePos=35840
bytesread = 1024, SAVE_LEN=102400, savePos=36864
bytesread = 1024, SAVE_LEN=102400, savePos=37888
bytesread = 1024, SAVE_LEN=102400, savePos=38912
bytesread = 1024, SAVE_LEN=102400, savePos=39936
REC OFF
size=40960, sec=0.9
(省略)

最後の行が音声データで、この長い行をコピーして、バイナリファイルに保存するとWAVファイルになります。

• データ変換ツール

検証では、上記のツールを利用させていただき、入力をHEXにして、出力をファイルダウンロードにして、拡張子を.wavなどに変換することで再生することが可能です。

まとめ

とりあえず、録音の基礎部分のみ検証できました。このままだと音が小さすぎるので4バイト分シフトしたほうが良さそうですが、音量はあとで操作できるのでもう少し便利に使えないか検証してみます。

オンメモリの制約で100Kまでしか録音できないのと、ボタンを押したときのノイズがまだ残っているので、そのへんを今後調整したいと思います。

続編

M5StickCのマイクを使ってみる その3 録音再生

現時点の情報ですので、最新情報はM5StickC非公式日本語リファレンスを確認してください。 概要 かなり苦労しましたが、なんとか録音と再生ができました！ M5StickCにスピーカーHATを装着した状態で、ホームボタンを押している間録音し...

lang-ship.com

2019.10.02