日本語限定の問題のようですが、例えば以下のようなSSML記述を行った場合に読み方がおかしいようです。
<speak><say-as interpret-as="characters">a 4321</say-as></speak>
これを以下のように4を二度読みます。
"えいよんよんさんにいち"
英語で確認したところ"a space four three two one"と読んでいます。
これはalexa skill kitだけでなく、Amazon Pollyでも同様の読み方をしています。
スペースの変換に問題があるのではないかと思われますがいかがでしょうか。