Speathe

通过呼吸说话：瘫痪者的智能通信系统.

这个项目中用到的东西

硬件组件

扬声器：3W，4 ohms

安卓设备

Walabot

树莓派 3 B 型

软件应用和在线服务

蟒蛇

反应原生

故事

Speathe：一种创新且不断发展的沟通方式，适用于瘫痪后无法说话的瘫痪者。即使有方法可以帮助瘫痪的 Speathe 通过将一个人的呼吸转换为听觉声音和可转移的文本来伸出援助之手。我希望这个代码会有很大的发展，我请求所有的爱好者们为此努力，让它成为我们瘫痪的同胞的有效沟通。

硬件组件

Speathe 组件

Walabot 会聆听呼吸并将其分类为短呼吸和长呼吸。 Raspberry 将分别为短呼吸和长呼吸分配点和破折号，并将它们附加以形成一个字母表。有 3 个字母首字母缩略词的集合，它们具有预定义的含义以简化交流。 Raspberry 将根据用户确定单词 speathe 并为变量赋值并将数据发布到在 python 中运行的服务器。移动应用程序是使用 react-native 开发的，它向服务器发送连续请求以寻找变量的值。每当收到非空值时，移动应用程序都会显示它。我们还通过将用户输入的文本发送回服务器并向瘫痪者大声朗读来为人们回复瘫痪者提供扩展。

软件开发

1.使用 Python 设置 Walabot SDK 和编程

如果您没有安装 Python IDE，Python3 可从以下网址获得：https://www.python.org/downloads/

完成后，您可以为您的操作系统下载 Walabot SDK。有关 Walabot Python API 的详细信息，请访问：https://walabot.com/api/_pythonapi.html

安装 .deb 文件后，您可以在源目录中找到为 C++ 和 Python 编写的各种示例程序。 Walabot API 网站上也提供了示例程序。对于这个项目，我建议通过 BreathingExample python 程序。

2. 呼吸检测和字母匹配

walabot 确定呼吸能量的能力用于确定长短呼吸。我们将进行 10-15 个连续循环，如果其中的能量远高于阈值，则将其指定为长呼吸，如果能量低于阈值，则为短呼吸。因为对于这一次，每个人都可能需要校准。

检测长短呼吸后连续呼吸并排列成数组，'-'代表长呼吸，'.'代表短呼吸，这可能形成像['-.-.-'这样的莫尔斯电码]。特定的莫尔斯电码模式和预定义的字母，如果呼吸与它们匹配，则该字母被发音。

3. 信、词、句、情

我们在 Speathe 的第一个版本中，为日常生活中使用的常用短语开发了三个字母的首字母缩略词，这样瘫痪的人就不会说太多了。如果找到三个字母的首字母缩写词匹配，则移动应用程序采用的变量值将替换为相应的短语。因此，对于完全瘫痪的人来说，有效的沟通是可能的。

4.服务器

服务器运行在树莓派上，完全由python控制。 Flask 模块用于在 Raspberry Pi 3 中运行服务器。在 Raspberry Pi 上设置静态 IP，并在某个端口（例如 80）上启动服务器。

如何设置 静态 IP

1.在命令提示符下输入 sudo nano /etc/dhcpcd.conf。

2.滚动到脚本底部，并添加以下几行：

interface eth0
static ip_address=192.168.43.211
static routers=192.168.43.1
static domain_name_servers=192.168.43.1
interface wlan0
static ip_address=192.168.43.1
/>静态路由器=192.168.43.1
静态域名服务器=192.168.43.1

3.使用 ctrl + o 保存文件，然后使用 ctrl + x 退出 nano。

4.使用 sudo reboot 重新启动。

5. 移动应用

移动应用程序是用 react-native 开发的。在服务器的同一端口对值的反应原生请求。找到值后，它会显示在用户界面中。如果用户想返回一些东西，react-native 将数据发布到服务器中的某个变量，python 代码检查该变量的值会更响亮地发音，以便瘫痪的人听到并在需要时做出答复。

移动应用程序搜索客户端移动应用程序从瘫痪消息接收到消息“Apple”回服务器

5. 测试

在 Raspberry Pi 中运行 python 文件并为您的 Raspberry Pi 设置静态 IP 地址。更改 JavaScript 代码中的 IP 地址和端口地址并呈现 apk。就我而言，我已将 IP 地址设置为 192.168.43.211，并且在存储库中提供了调试 apk。生成 apk 后，通过 Wi-Fi 将 Raspberry Pi 连接到 android 设备，并将 walabot 连接到 Raspberry Pi。只需打开应用程序并启动 Speaking。

阅读更多信息....

说话