Python3 下利用 redis 对接口限速

今天 14:41
阅读 3 分钟
14
前言技术栈 {代码...} 利用 redis 的 zset 实现接口调用限速案例测试代码 {代码...} 结果输出 {代码...} 参考文献实现接口的限流各种算法本文出自 qbit snap

Elasticsearch nested 嵌套字段排序(qbit)

1 月 11 日
阅读 3 分钟
308
前言本文的例子来自铭毅天下,并得到了铭毅天下本人的指导本文内容对 Elasticsearch 7.17 适用示例多商品在不同分类下有不同的排名,取某个分类下的topN创建 mappings {代码...} 写入样例数据 {代码...} 铭毅天下 给的参考查询语句,用到了聚合 {代码...} 参考ES nested 字段排序官方示例不用聚合的查询语句 {代码...} ...

AWS Serverless PySpark 指定 Python 版本(qbit)

2023-12-22
阅读 7 分钟
297
官方建议用在 Amazon Linux 2 上编译安装 Python 环境,测试发现在 Ubuntu 上用 Miniconda 生成的虚拟环境也是可以的

pyparsing 2.x 案例(qbit)

2023-12-14
阅读 3 分钟
336
前言技术栈 {代码...} 案例测试解析 与 或测试代码 {代码...} 测试输出 {代码...} setParseAction 函数测试测试代码 {代码...} 测试输出 {代码...} 相关资料库[链接][链接][链接][链接]文章pyparsing 学习(博客园)取代正则-使用pyparsing来定制自己的解析器(知乎)Pyparsing快速构建解释器 | 实战搜索查询语法(知乎...

fastapi/uvicorn 压测并发与TCP队列(qbit)

2023-09-05
阅读 1 分钟
657
用 jmeter 压测 fastapi/uvicorn 接口程序,大量报错: {代码...} 服务器 cpu 和内存使用都不高,推测是 tcp 连接队列的问题

Python 下 AWS IAM EC2 对 S3 的访问(qbit)

2023-09-04
阅读 1 分钟
623
AWS Identity and Access Management (IAM) 是一种 Web 服务,可以帮助您安全地控制对 AWS 资源的访问。

Elasticsearch 实现 sql count distinct 的功能(qbit)

2023-06-14
阅读 1 分钟
646
前言本文对 Elasticsearch 7.17 适用count distinct单字段 {代码...} 多字段 {代码...} OR {代码...} 相关阅读Elasticsearch Cardinality aggregation 官方文档:[链接]StackOverflow:Getting cardinality of multiple fields?本文出自 qbit snap

Postman 发送 RSA 签名请求(qbit)

2023-05-24
阅读 2 分钟
638
前言Postman 版本 10.13.6qbit 将 RSAForPostman 压缩拷贝到了码云便于国内访问Postman 脚本示例Pre-request Script {代码...} Postman 内置库官方文档:[链接] {代码...} 本文出自 qbit snap

PostgreSQL 对数组元素聚合(qbit)

2023-05-09
阅读 1 分钟
633
前言本文对 PostgreSQL 14.x 适用实现的方式是用 unnest 将正文表 jounal 结构示例 {代码...} 聚合结果 {代码...} sql 语句写法一 {代码...} sql 语句写法二 {代码...} sql 语句写法三 {代码...} 相关链接How to group result by array column in Postgres?Group by unique items in an array column and count records ...

Elasticsearch 根据数组长度过滤数据(qbit)

2023-05-05
阅读 1 分钟
794
前言本文对 Elasticsearch 7.x 适用示例 {代码...} 关于与或非的优先级官方文档明确说明 ES 表达式的逻辑运算符和普通的理解不一样,有多个逻辑运算符时应该加上括号来确保正确性。相关文献Elasticsearch Script query 官方文档:[链接]stackoverflow elasticsearch filtering by the size of a field that is an array...

Windows 下多版本 Python 共享 Poetry(qbit)

2023-03-23
阅读 3 分钟
959
前言技术栈 {代码...} Python 3.8 安装目录 {代码...} Python 3.11 安装目录 {代码...} 安装 poetry设置将以下路径加入 path 环境变量 {代码...} 复制文件 {代码...} 设置 pip 国内镜像源 {代码...} 升级 pip {代码...} 安装或升级 pipx {代码...} 在 Python 3.11 下用 pipx 安装 Poetry {代码...} 查看安装情况 {代码.....

maven 混合编译 java/scala 代码报错(qbit)

2023-03-20
阅读 3 分钟
925
前言技术栈 {代码...} 操作系统中并没有安装 scala,利用 pom.xml 中的插件编译 scala 代码报错现象编译命令 {代码...} 报如下错误 {代码...} 解决办法给编译插件添加 jvm 参数 jvmArg,添加后 scala-maven-plugin 插件完整配置如下 {代码...} scala-maven-plugin 插件 GitHub 地址:[链接]相关阅读JVM 参数及默认值 {代...

shell 命令提示符中显示时间(qbit)

2023-02-16
阅读 1 分钟
756
前言本文对 Ubuntu 20.04 适用bashbash 版本 5.0.17配置 {代码...} 结果 {代码...} 可以将上述配置加到 .bashrc 中fish编辑文件 ~/.config/fish/functions/fish_prompt.fish (目录或文件不存在就新建),模板参照 /usr/share/fish/functions/fish_prompt.fish {代码...} fish 的 ~/.config/fish/config.fish 对标 bash ...

Java 与 Python 国密算法 SM2 交互使用(qbit)

2023-01-10
阅读 1 分钟
2k
前言Java 库 [链接]Python 库 [链接]背景:Java hutool 库生成的密钥,Python gmssl 签名校验不通过,折腾了很久才找到原因原因开始 hutool 这样生成的密钥,gmssl 死活通不过签名校验 {代码...} hutool 正确生成密钥的方式 {代码...} 本文出自 qbit snap

poetry 下运行 dbt(qbit)

2022-12-28
阅读 9 分钟
1.8k
dbt 是 Data Build Tool 的简称,目前由 dbt labs 公司负责开发和维护,公司的前身是Fishtown Analytics。

pandas 将函数应用到列(qbit)

2022-12-23
阅读 2 分钟
985
前言环境 {代码...} 正文初始化数据 {代码...} 定义去重函数 {代码...} 单列去重(将函数应用到某列的单元格) {代码...} 所有列去重(将函数应用到所有单元格) {代码...} 指定部分列去重(将函数应用到部分列的单元格) {代码...} 本文出自 qbit snap

pandas 分组合并字段(qbit)

2022-12-22
阅读 1 分钟
930
前言环境 {代码...} 正文初始化数据 {代码...} 单字段合并 {代码...} 多字段合并 {代码...} 本文出自 qbit snap

Python 可打印字符、UTF8相关(qbit)

2022-12-15
阅读 2 分钟
1.1k
Unicode 字符表:[链接]\xa0 是 NO-Break Space,不连续空格\xad 是 Soft Hyphen,软连接符,常被显示为短横或者空格可打印字符 {代码...} UTF8 {代码...} regex {代码...} pandahousepandahouse 处理 \xad 之类的非常规字符会有问题本文出自 qbit snap

PostgreSQL 插入时间与更新时间(qbit)

2022-12-01
阅读 3 分钟
2.9k
PostgreSQL 在数据库层面不能像 MySQL 一样设置自动创建 create_time/update_time,自动更新 update_time

Windows Terminal + MSYS2 配置(qbit)

2022-11-23
阅读 2 分钟
3.1k
前言本文对 Windows 10/11 适用MSYS2 官网:[链接]MSYS2 官方新闻:2022.10.29,将默认环境由 MINGW64 更换为 UCRT64安装到官方仓库下载 MSYS2 安装包,qbit 当前下载的是 msys2-x86_64-20221028.exe按提示步骤安装即可,qbit 的安装路径为 D:\msys64添加别名在 D:\msys64\etc\bash.bashrc 文件末尾添加 {代码...} 右键...

workflow 之 Dagster 基本用法(qbit)

2022-11-09
阅读 5 分钟
3.3k
前言Dagster 是一个工作流(数据流)编排工具,类似的工具有老牌的 Luigi,Apache 的 Airflow,还有一个新兴的 Prefect。技术栈 {代码...} poetry github:[链接]dagster github:[链接]安装用 poetry 初始化项目后在 pyproject.toml 添加以下依赖,然后运行 poetry update {代码...} 测试代码test_dagster.py {代码...}...

排除 spaCy 的部分组件(qbit)

2022-11-04
阅读 2 分钟
1.3k
Industrial-strength Natural Language Processing (NLP) in Python工业级 NLP

Python3 中文分词(qbit)

2022-10-31
阅读 2 分钟
1.5k
前言当前日期为 2022.10.31qbit 当前使用 Python 版本为 3.8jieba“结巴”中文分词:做最好的 Python 中文分词组件qbit:结巴老矣,尚能饭否github:[链接]jieba 分词已经很久没有维护,其词性标注组件 paddlepaddle-tiny 最高只支持 Python 3.7NLTKNatural Language ToolkitGitHub:[链接]似乎没有官方中文词库:chinese....

MongoDB 查看索引与存储大小(qbit)

2022-10-30
阅读 3 分钟
1.5k
前言本文试验环境为 3 台机器的 MongoDB 副本集 {代码...} 官方文档:[链接]推荐学习 唐建法《MongoDB 高手课》一般建议单个副本集容量 2TB 左右,不应超过 3TB;内存应大于索引体积大小之和正文列出所有数据库 {代码...} 查看单个库的统计信息 {代码...} {代码...} 列出单库下的 collection {代码...} 单个 collection ...

yarl 对比 python3 标准库 urllib(qbit)

2022-10-24
阅读 3 分钟
937
前言测试环境 {代码...} 本文主要是对比易用性,无关性能yarl 官方文档:[链接]url 组成部分yarl VS. urllib获取 url 参数urllib {代码...} 如果你还想问为什么没有 urldecode,把上面的示例看五遍。^_^yarl {代码...} 解析 url 的 query stringurllib {代码...} yarl {代码...} encode 编码urllib {代码...} yarl {代码...

机器学习实战步骤(qbit)

2022-10-09
阅读 2 分钟
1.5k
机器学习的厉害之处就在于,它能利用计算机的运算能力,从大量的数据中发现一个“函数”或“模型”,并通过它来模拟现实世界事物间的关系,从而实现预测、判断等目的。

Ubuntu 22.04 LTS 以 rootless 模式安装 docker (qbit)

2022-09-29
阅读 2 分钟
3.4k
docker 免 root 运行(rootless)在 2019.7.22 的 v19.03.0 引入,在 2020.12.8 的 v20.10.0 GA。本文中使用 docker 版本为 2022.9.9 发布的 v20.10.18。

Linux 删除文件后磁盘空间没释放?(qbit)

2022-09-16
阅读 1 分钟
1.1k
Linux 下产生日志的进程未关闭时,删除日志文件,空间并不会被释放虽然重启进程即可,但可能引起服务中断可用以下方法清空文件 {代码...} 查找打开的已删除文件 {代码...} 本文出自 qbit snap

MySQL 8 启用远程 root 访问(qbit)

2022-09-14
阅读 1 分钟
1k
JSON特性增强MySQL 8 大幅改进了对JSON 的支持,添加了基于路径查询参数从JSON字段中抽取数据的JSON_EXTRACT() 函数,以及用于将数据分别组合到JSON 数组和对象中的JSON_ARRAYAGG() 和JSON_OBJECTAGG() 聚合函数。

DBeaver 下用 DuckDB 读取 parquet 文件(qbit)

2022-09-09
阅读 1 分钟
2.6k
读取示例DuckDB 官方文档:[链接]DuckDB GitHub 地址:[链接]DBeaver 变量读取示例,注意变量功能是 DBeaver 的,不是 DuckDB 自带的 {代码...} 支持的压缩格式当前(2022.9.11)DuckDB 版本为 0.5.0,支持的 parquet 压缩格式有 {代码...} 看 github 上源码的枚举值,以后也许支持以下几种 {代码...} 本文出自 qbit snap