M5StickCのマイクを使ってみる その2 録音してみた

現時点の情報ですので、最新情報はM5StickC非公式日本語リファレンスを確認してください。

概要

M5StickCのマイクを使ってみる その1

サンプルスケッチを動かす以上していなかったマイクを触ってみました。もう少し掘り下げて調べる必要がありそうです。 現時点での情報のため、最新情報はM5StickC非公式日本語リファレンスを確認お願いします。 概要 M5StickCにはI2S経...

lang-ship.com

2019.09.12

マイクからの入力データをオンメモリに保存して、シリアルモニタ経由で保存することができました。

SPIFFSとかに保存して、Wi-fi AP経由でダウンロードなども考えましたが、まずはかんたんに利用できるもので検証しました。

MICのスペックについて

型番	SPM1423
データシート	https://github.com/m5stack/M5-Schematic/blob/master/Core/SPM1423HM4H-B.pdf
製造元	Knowles Electronics, LLC.
方向	無指向性
周波数範囲	100Hz ~ 10kHz
感度	-22dB ±3dB @ 94dB SPL
S/N比	61.5dB
電圧範囲	1.6V ~ 3.6V(2.8V供給)
電流 – 供給	600µA

マイクのスペックです。データシートはまだ読めていません。

マイクのデータ量について

サンプリングレート(Hz)	転送量(Byte/s)	転送単位(byte)	転送回数(回/s)	対象時間(ms/回)
44,100	88,200	512	172.3	5.8
44,100	88,200	1,024	86.1	11.6
44,100	88,200	2,048	43.1	23.2
44,100	88,200	4,096	21.5	46.4
44,100	88,200	8,192	10.8	92.9
44,100	88,200	16,384	5.4	185.8
44,100	88,200	32,768	2.7	371.5
44,100	88,200	65,536	1.3	743.0
44,100	88,200	102,400	0.9	1161.0
44,100	88,200	109,714	0.8	1243.9
22,050	44,100	512	86.1	11.6
22,050	44,100	1,024	43.1	23.2
22,050	44,100	2,048	21.5	46.4
22,050	44,100	4,096	10.8	92.9
22,050	44,100	8,192	5.4	185.8
22,050	44,100	16,384	2.7	371.5
22,050	44,100	32,768	1.3	743.0
22,050	44,100	65,536	0.7	1486.1
22,050	44,100	102,400	0.4	2322.0
22,050	44,100	109,714	0.4	2487.8
16,384	32,768	512	64.0	15.6
16,384	32,768	1,024	32.0	31.3
16,384	32,768	2,048	16.0	62.5
16,384	32,768	4,096	8.0	125.0
16,384	32,768	8,192	4.0	250.0
16,384	32,768	16,384	2.0	500.0
16,384	32,768	32,768	1.0	1000.0
16,384	32,768	65,536	0.5	2000.0
16,384	32,768	102,400	0.3	3125.0
16,384	32,768	109,714	0.3	3348.2
11,025	22,050	512	43.1	23.2
11,025	22,050	1,024	21.5	46.4
11,025	22,050	2,048	10.8	92.9
11,025	22,050	4,096	5.4	185.8
11,025	22,050	8,192	2.7	371.5
11,025	22,050	16,384	1.3	743.0
11,025	22,050	32,768	0.7	1486.1
11,025	22,050	65,536	0.3	2972.2
11,025	22,050	102,400	0.2	4644.0
11,025	22,050	109,714	0.2	4975.7

マイクは1サンプリングあたり2バイトです。実際には12ビットなので4ビット分は利用していないはずです。

サンプリングレートが44,100Hzの場合、1秒あたり88,200バイトのデータが必要になります。

DMA転送単位を512バイトにすると、1秒あたり172.3回転送しなければならず、1回あたり5.8ms以下で処理しないといけないことが、上の表からわかります。

サンプリングレートの目安ですが、CDが44,100Hzで、音声認識では16,384Hzがよく使われているようです。実際11,025Hzですと、がびがびで何を言っているか、わかりにくいです。

サンプルスケッチ

#include <M5StickC.h>
#include <driver/i2s.h>
#define htonl(x) ( ((x)<<24 & 0xFF000000UL) | \
                   ((x)<< 8 & 0x00FF0000UL) | \
                   ((x)>> 8 & 0x0000FF00UL) | \
                   ((x)>>24 & 0x000000FFUL) )
#define PIN_CLK  0
#define PIN_DATA 34
#define SAMPLING_RATE (44100/2)
#define READ_LEN (2 * 512)
#define SAVE_LEN (900*100)
uint8_t READ_BUFFER[READ_LEN] = {0};
uint8_t SAVE_BUFFER[SAVE_LEN] = {0};
uint32_t savePos = 0;
bool recFlag = false;
uint16_t oldy[160];
int16_t *adcBuffer = NULL;
TaskHandle_t taskHandle;
size_t bytesread;
void i2sInit()
{
  i2s_config_t i2s_config = {
    .mode = (i2s_mode_t)(I2S_MODE_MASTER | I2S_MODE_RX | I2S_MODE_PDM),
    .sample_rate =  SAMPLING_RATE,
    .bits_per_sample = I2S_BITS_PER_SAMPLE_16BIT, // is fixed at 12bit, stereo, MSB
    .channel_format = I2S_CHANNEL_FMT_ALL_RIGHT,
    .communication_format = I2S_COMM_FORMAT_I2S,
    .intr_alloc_flags = ESP_INTR_FLAG_LEVEL1,
    .dma_buf_count = 2,
    .dma_buf_len = READ_LEN,
  };
  i2s_pin_config_t pin_config = {};
  pin_config.bck_io_num   = I2S_PIN_NO_CHANGE;
  pin_config.ws_io_num    = PIN_CLK;
  pin_config.data_out_num = I2S_PIN_NO_CHANGE;
  pin_config.data_in_num  = PIN_DATA;
  i2s_driver_install(I2S_NUM_0, &i2s_config, 0, NULL);
  i2s_set_pin(I2S_NUM_0, &pin_config);
  i2s_set_clk(I2S_NUM_0, SAMPLING_RATE, I2S_BITS_PER_SAMPLE_16BIT, I2S_CHANNEL_MONO);
  // 録音スタート
  recFlag = true;
  xTaskCreatePinnedToCore(mic_record_task, "mic_record_task", 2048, NULL, 1, &taskHandle, 1);
}
void mic_record_task (void* arg)
{
  savePos = 0;
  memset(SAVE_BUFFER, 0, SAVE_LEN);
  while (recFlag) {
    i2s_read(I2S_NUM_0, (char*) READ_BUFFER, READ_LEN, &bytesread, (100 / portTICK_RATE_MS));
    adcBuffer = (int16_t *)READ_BUFFER;
    showSignal();
    Serial.printf("bytesread = %d, SAVE_LEN=%d, savePos=%d\n", bytesread, SAVE_LEN, savePos);
    if ( (savePos + bytesread) < SAVE_LEN ) {
      memcpy( &SAVE_BUFFER[savePos], READ_BUFFER, bytesread );
      savePos += bytesread;
    }
    vTaskDelay(1 / portTICK_RATE_MS);
  }
  // タスク削除
  vTaskDelete(NULL);
}
void setup() {
  M5.begin();
  M5.Lcd.setRotation(3);
  M5.Lcd.fillScreen(WHITE);
  M5.Lcd.setTextColor(BLACK, WHITE);
  M5.Lcd.println("mic");
}
void showSignal() {
  // Offset
  int32_t offset_sum = 0;
  for (int n = 0; n < 160; n++) {
    offset_sum += (int16_t)adcBuffer[n];
  }
  int offset_val = -( offset_sum / 160 );
  // Auto Gain
  int max_val = 200;
  for (int n = 0; n < 160; n++) {
    int16_t val = (int16_t)adcBuffer[n] + offset_val;
    if ( max_val < abs(val) ) {
      max_val = abs(val);
    }
  }
  int y;
  for (int n = 0; n < 160; n++) {
    y = adcBuffer[n] + offset_val;
    y = map(y, -max_val, max_val, 10, 70);
    M5.Lcd.drawPixel(n, oldy[n], WHITE);
    M5.Lcd.drawPixel(n, y, BLACK);
    oldy[n] = y;
  }
}
void loop() {
  M5.update();
  if ( M5.BtnA.wasPressed() ) {
    // ボタン押した直後の雑音は録音しない
    delay(200);
    // REC
    i2sInit();
    M5.Lcd.setCursor(0, 0);
    M5.Lcd.println("mic rec...");
    Serial.println("REC ON");
  } else if ( M5.BtnA.wasReleased() ) {
    M5.Lcd.setCursor(0, 0);
    M5.Lcd.println("mic       ");
    recFlag = false;
    delay(100); // 録音終了まで待つ
    Serial.println("REC OFF");
    Serial.printf("size=%d, sec=%1.1f\n", savePos, (double)savePos / (SAMPLING_RATE * 2));
    Serial.printf("52494646");                        // RIFFヘッダ
    Serial.printf("%08lx", htonl(savePos + 44 - 8));  // 総データサイズ+44(チャンクサイズ)-8(ヘッダサイズ)
    Serial.printf("57415645");                        // WAVEヘッダ
    Serial.printf("666D7420");                        // フォーマットチャンク
    Serial.printf("10000000");                        // フォーマットサイズ
    Serial.printf("0100");                            // フォーマットコード
    Serial.printf("0100");                            // チャンネル数
    Serial.printf("%08lx", htonl(SAMPLING_RATE));     // サンプリングレート
    Serial.printf("%08lx", htonl(SAMPLING_RATE * 2)); // バイト／秒
    Serial.printf("0200");                            // ブロック境界
    Serial.printf("1000");                            // ビット／サンプル
    Serial.printf("64617461");                        // dataチャンク
    Serial.printf("%08lx", htonl(savePos));           // 総データサイズ
    for (int n = 0; n <= savePos; n++) {
      Serial.printf("%02x", SAVE_BUFFER[n]);
    }
    Serial.printf("\n");
  }
  delay(10);
}

実験用のちょっと不安定なコードなので、ハングアップをするかもしれません。

出力結果

M5StickC initializing...OK
REC ON
bytesread = 1024, SAVE_LEN=102400, savePos=0
bytesread = 1024, SAVE_LEN=102400, savePos=1024
bytesread = 1024, SAVE_LEN=102400, savePos=2048
bytesread = 1024, SAVE_LEN=102400, savePos=3072
bytesread = 1024, SAVE_LEN=102400, savePos=4096
bytesread = 1024, SAVE_LEN=102400, savePos=5120
bytesread = 1024, SAVE_LEN=102400, savePos=6144
bytesread = 1024, SAVE_LEN=102400, savePos=7168
bytesread = 1024, SAVE_LEN=102400, savePos=8192
bytesread = 1024, SAVE_LEN=102400, savePos=9216
bytesread = 1024, SAVE_LEN=102400, savePos=10240
bytesread = 1024, SAVE_LEN=102400, savePos=11264
bytesread = 1024, SAVE_LEN=102400, savePos=12288
bytesread = 1024, SAVE_LEN=102400, savePos=13312
bytesread = 1024, SAVE_LEN=102400, savePos=14336
bytesread = 1024, SAVE_LEN=102400, savePos=15360
bytesread = 1024, SAVE_LEN=102400, savePos=16384
bytesread = 1024, SAVE_LEN=102400, savePos=17408
bytesread = 1024, SAVE_LEN=102400, savePos=18432
bytesread = 1024, SAVE_LEN=102400, savePos=19456
bytesread = 1024, SAVE_LEN=102400, savePos=20480
bytesread = 1024, SAVE_LEN=102400, savePos=21504
bytesread = 1024, SAVE_LEN=102400, savePos=22528
bytesread = 1024, SAVE_LEN=102400, savePos=23552
bytesread = 1024, SAVE_LEN=102400, savePos=24576
bytesread = 1024, SAVE_LEN=102400, savePos=25600
bytesread = 1024, SAVE_LEN=102400, savePos=26624
bytesread = 1024, SAVE_LEN=102400, savePos=27648
bytesread = 1024, SAVE_LEN=102400, savePos=28672
bytesread = 1024, SAVE_LEN=102400, savePos=29696
bytesread = 1024, SAVE_LEN=102400, savePos=30720
bytesread = 1024, SAVE_LEN=102400, savePos=31744
bytesread = 1024, SAVE_LEN=102400, savePos=32768
bytesread = 1024, SAVE_LEN=102400, savePos=33792
bytesread = 1024, SAVE_LEN=102400, savePos=34816
bytesread = 1024, SAVE_LEN=102400, savePos=35840
bytesread = 1024, SAVE_LEN=102400, savePos=36864
bytesread = 1024, SAVE_LEN=102400, savePos=37888
bytesread = 1024, SAVE_LEN=102400, savePos=38912
bytesread = 1024, SAVE_LEN=102400, savePos=39936
REC OFF
size=40960, sec=0.9
(省略)

最後の行が音声データで、この長い行をコピーして、バイナリファイルに保存するとWAVファイルになります。

• データ変換ツール

検証では、上記のツールを利用させていただき、入力をHEXにして、出力をファイルダウンロードにして、拡張子を.wavなどに変換することで再生することが可能です。

まとめ

とりあえず、録音の基礎部分のみ検証できました。このままだと音が小さすぎるので4バイト分シフトしたほうが良さそうですが、音量はあとで操作できるのでもう少し便利に使えないか検証してみます。

オンメモリの制約で100Kまでしか録音できないのと、ボタンを押したときのノイズがまだ残っているので、そのへんを今後調整したいと思います。

続編

M5StickCのマイクを使ってみる その3 録音再生

現時点の情報ですので、最新情報はM5StickC非公式日本語リファレンスを確認してください。 概要 かなり苦労しましたが、なんとか録音と再生ができました！ M5StickCにスピーカーHATを装着した状態で、ホームボタンを押している間録音し...

lang-ship.com

2019.10.02