您需要了解的有关OpenVerse和WordPress照片目录

重新设计的OpenVerse主页的屏幕截图,其中包括从数十年和背景的“奥运会”搜索“奥运会”的图像。
重新设计www.kotonoha369.com/openverse主页

当我们宣布Openverse加入了WordPress去年早些时候,我们对平台的激动人心的变化感到非常兴奋。其中许多更新都在这里。

开放式,以前称为CC Search,是公开许可媒体的搜索引擎。索引,加入WordPress在2021年中,拥有超过6亿的创意共享许可和公共领域图像和音频文件。所有文件都可以免费使用。

开放式开放式开放式是公开许可媒体的搜索引擎,包括照片,音频和视频。Openverse也是收藏的名称相关代码存储库组成了项目。有几个新功能,包括:

  • 重新设计的接口:Openverse具有针对可用性优化的新品牌标识和用户界面。查找您要寻找的图像和音频文件,筛选筛选过滤器是两种类型的钩子之一https://codex.www.kotonoha369.com/plugin_api/hooks。它们提供了一种函数修改其他功能数据的方法。他们是行动的对手。与动作不同,过滤器的工作方式是以孤立的方式工作,绝不应该具有影响全球变量和输出等副作用。通过许可证,来源和许多其他选项的结果。
  • 国际化:Openverse以12种语言完全翻译,并采用其他语言进行其他部分翻译。我们鼓励社区中的任何人提交翻译用他们自己的语言。
  • 音频支持:OpenVerse现在包括FreeSound,Wikimedia Commons和Jamendo的歌曲,播客,样本和其他音频文件。
  • 新图像提供商:Openverse团队添加了两个新的高质量照片来源WordPress照片目录股票。此外,现在可以从元搜索

开放项目是WordPress社区的一部分,欢迎贡献从那些希望帮助它成为互联网上最好的公开许可媒体搜索引擎的人。WordPress照片目录提供了这样的机会。

WordPress照片目录是什么?

WordPress照片目录既是由WordPress社区提供支持的新型免费,高质量照片的新策划来源,也是一个新的提交工具。没有它,您需要使用Flickr,Wikimedia Commons或其他来源将您的作品提交给OpenVerse。

WordPress照片目录的目的是成为社区创建,共享,发现和重复使用免费和公开许可媒体的信任场所。WordPress照片目录中的所有照片均使用CC0公共领域工具。

WordPress照片目录欢迎不同形式的贡献。参与的最佳方法之一是提交您的照片

  • 任何人www.kotonoha369.com帐户可以将其工作提交给照片目录。所有提交必须满足这些准则确保内容的质量。
  • 照片还将被分类并标记以促进搜索。提交批准后,它将自动添加到WordPress照片目录和OpenVerse搜索引擎中。

你也可以报告问题使用目录,或成为一个照片目录主持人

值得注意的是,Openverse和WordPress照片目录是独立的独立项目。但是,它们是互补的,因为目录中的图像可以通过Openverse搜索发现。所有WordPress照片目录图像都可以在Openverse中查看。

您在哪里可以了解有关Openverse的更多信息?

制作开放式博客是跟随该项目的最佳方法之一。随意与任何开放式贡献者接触松弛松弛Slack是一个协作小组聊天平台https://slack.com/。WordPress社区在https://make.www.kotonoha369.com/chat/#openverse,,,,github,或任何其他渠道以了解有关该项目的更多信息。如果您有兴趣为Openverse贡献代码,请查看我们的好的第一个问题或我们的新贡献者指南

我们希望您和我们对Openverse一样兴奋,我们期待您的贡献!

快乐搜索!


谢谢@rmartinezduque@anjanavasan@callye@zackkrida@angelasjin他们在这篇文章上的工作。

媒体,,,,开放式,,,,相片

社区会议回顾(2022年7月12日)

开会开始

完毕!

  • 添加了动作棉布WordPress/Openverse并同步到所有下游存储库。[[信息这是给予的
  • 通过解决目录中的问题来改善摄入性能。[[信息这是给予的
  • 许可证案例激素问题已解决APIAPIAPI或应用程序编程接口是一种软件中介机构,允许程序相互交互并以有限的,明确定义的方式共享数据。。[[信息这是给予的

需要审查

  • 目录PR可更新数据删除DAG以匹配Ingestion Server API。[[信息这是给予的
  • 基础架构PR可更新我们的CloudWatch仪表板中的语言。[[信息这是给予的
  • 主要仓库PR添加了用于贡献设计工作的信息。[[信息这是给予的
  • 同步机器人制造的下游回购同步PR。[[信息这是给予的

进行中

  • 目录PR检查DAG中的导入错误;审查更改。[[信息这是给予的

⏳即将到来的工作

  • @Aetherunbound打算处理“ Elasticsearch指标报告DAG”。[[信息这是给予的
  • @dhruvkb打算处理“允许配置用于服务器端的API密钥开放式开放式开放式是公开许可媒体的搜索引擎,包括照片,音频和视频。Openverse也是收藏的名称相关代码存储库组成了项目。API请求” [信息这是给予的
  • @Zackkrida打算工作完成“ Dev Doc Preview仅应在维护器PR上运行” [信息这是给予的
  • @Krysal打算处理“用于显示消息的Snackbar组件” [信息这是给予的

议程讨论

  • 讨论围绕单独的服务生成音频波形[信息这是给予的
  • 讨论有关分期进行压力测试的讨论,以识别ES高使用率的原因[信息这是给予的

会议结束

签到会议的想法

发布后开放式开放式开放式是公开许可媒体的搜索引擎,包括照片,音频和视频。Openverse也是收藏的名称相关代码存储库组成了项目。借助新的品牌和音频内容支持,团队迅速跳跃以改善在线内容。在这几周中所做的大多数改进都集中在后台基础架构以及支持开放式启动的内容上。我们已经合并了重大进展。

当我花时间设计OpenVerse和思考访客如何浏览和与内容互动时,我没有评估所有开发工作。尽管如此,我还是在每周会议上注意到了一些疑问,对下一步的速度以及在接下来的几个月中的发行范围。

在这些会议期间,我看到我们倾向于失去主要道路,并将任务分配给我们自己,这些任务是根据我们的优先事项和当前进步来考虑的,但要以模糊的里程碑的方式来实现我们打算实现的目标。即使我们有一个今年的路线图,目前尚不清楚我们计划的结果。这种绩效有可能进行不合时宜的工作和解决问题的问题,例如我们每个人都铺平了一条不同的道路的船员。

每周会议重点介绍了每周和每两周的进度,这一行为是可以理解的。项目委员会,加上几分钟的问题,这些问题要处理相同的持续任务。所以没有责怪这里的任何人。

为了解决这个问题,我建议在当时进行登机会议来审查目标和里程碑,并讨论接下来的事情。这应该是一个高级讨论,以了解本年度的范围,而不是潜入票务详细信息。这个想法是要广泛了解我们正在研究的工作,回答与即将发布的任何版本有关的疑问,评估截止日期以及任何其他战略方面,以使我们保持一致并在同一页面上。

您如何看待这个想法?您是否分享我关于缺乏方向趋势的诊断?让我知道您的想法,如果您同意,请分享会议的初步结构。

社区会议回顾(2022年7月5日)

最近完成的工作

  • 搜索控制器的重构APIAPIAPI或应用程序编程接口是一种软件中介机构,允许程序相互交互并以有限的,明确定义的方式共享数据。[[参考这是给予的
  • 音频扩展程序[参考这是给予的
  • 翻译 (.po)文件改进[参考这是给予的
  • 新的提供商脚本基类[参考这是给予的

进行中

  • 一些需要审查的新社区公关[参考这是给予的
  • 人们本周将重点关注代码审查,以及ES索引和波形工作

去做

  • OAuth电子邮件一次性脚本被批准后,我们​​将删除API的发布[参考这是给予的
  • 想在本周花更多的时间进行ES CPU使用[参考这是给予的
  • 有一个开放的公关用于设计文档的改进,需要审查[参考这是给予的

社区会议回顾(2022年6月28日)

完毕

  • 没有缩略图的音频文件的默认图像[参考这是给予的
  • 添加了用于剧作家测试的帮助者,使添加新测试变得更加容易[参考这是给予的
  • 修复单个音频结果页面上的音频加载图标[参考这是给予的

进行中

我们本周几乎在终点线上遇到了很多问题。

需要审查

  • 提供者的基础APIAPIAPI或应用程序编程接口是一种软件中介机构,允许程序相互交互并以有限的,明确定义的方式共享数据。脚本[参考这是给予的
  • 加载更多结果时修复抖动卷轴[参考这是给予的
  • 将数据刷新重新编号分为两个作业[参考这是给予的
  • 添加一个新的任务类型以删除索引[参考这是给予的
  • 包括alt_files过滤的扩展[参考这是给予的
  • 从环境变量中读取索引名称[参考这是给予的
  • 所有内容页面目的设计工作[参考这是给予的

即将到来

最后,本周提出了新的高优先级问题[参考],讨论和(自我/re)分配。计划中有一批数据清洁,以及对开放式开放式开放式是公开许可媒体的搜索引擎,包括照片,音频和视频。Openverse也是收藏的名称相关代码存储库组成了项目。基础设施。评估和调整问题优先级[参考] [参考]。

关于音频里程碑的比特量计算也有一些讨论,以及使用爬虫的可能性[参考]。

开放式周刊社区会议

社区会议回顾(2022年6月21日)

公告

我们将在本周更改默认的油门水平。看到Github问题提前获取详细信息。

要点

这是第二周涉足带来的里程碑来自“ beta”状态的音频

完毕

我们很高兴这次有许多社区公关[参考]:

  • 验证时在URL中添加了标志以在URL中的斜线上添加标志
  • 修复了前端存储库的README中的错字
  • 改进了大屏幕上音频细节页面的外观

  • 缓解了一些对某人麻烦的行为APIAPIAPI或应用程序编程接口是一种软件中介机构,允许程序相互交互并以有限的,明确定义的方式共享数据。[[参考这是给予的
  • 现在改善了前端上的相关图像,并且感觉更快[参考这是给予的
  • 修复了音频“长度”筛选筛选过滤器是两种类型的钩子之一https://codex.www.kotonoha369.com/plugin_api/hooks。它们提供了一种函数修改其他功能数据的方法。他们是行动的对手。与动作不同,过滤器的工作方式是以孤立的方式工作,绝不应该具有影响全球变量和输出等副作用。在前端[参考这是给予的
  • 添加更多结果时,可以防止音频结果转移[参考这是给予的
  • 音频播放器现在有一个加载指示器[参考这是给予的
  • 防止缩略图超时[参考这是给予的

进行中

需要审查

  • 进行搜索。VUE媒体进行非阻滞(在会议期间合并)[参考这是给予的
  • 添加缺少的音频文件扩展名[参考这是给予的
  • 许多目录的PR添加Filetype/Filesize提取[参考这是给予的

即将到来

最后,调整优先级[参考]提出了本周要解决的新问题[参考],讨论和(自我/re)分配。计划中有一批数据清洁,以及对开放式开放式开放式是公开许可媒体的搜索引擎,包括照片,音频和视频。Openverse也是收藏的名称相关代码存储库组成了项目。基础设施。

减轻术语的API使用量

昨天在20:20 UTC,我们发布了我们API的2.5.5版呢除了一些依赖性升级和DEVEX改进/修复外,此版本还带来关于匿名API请求的重要更改。在v2.5.5之后,进行的任何媒体搜索都没有APIAPIAPI或应用程序编程接口是一种软件中介机构,允许程序相互交互并以有限的,明确定义的方式共享数据。密钥不能每页要求超过20个结果。

为了减轻我们在API上看到的行为而进行了此更改开放式开放式开放式是公开许可媒体的搜索引擎,包括照片,音频和视频。Openverse也是收藏的名称相关代码存储库组成了项目。,以及我们的能力部署部署从本地开发环境启动代码到生产Web服务器,以便访问者可以使用。API的新更改。

我们的API服务条款状态:

- 用户必须遵守所有费率限制,注册要求,并遵守OpenVerse API文档中的所有要求;

- 用户不得在Openverse目录中刮擦内容;

- 用户不得使用多台机器来规避费率限制,或者采取措施绕过我们的技术或安全措施;

- 用户不得以对API的其他用户产生负面影响或阻碍WordPress基金会提供其服务的能力的方式操作;

背景

从5月18日左右开始,我们看到了交通的大幅增加。

在过去30天内,对API.Openverse.openverse.

虽然数字人口统计(浏览器,用户代理,操作系统,设备类型等)却相当多,但一项功能删除了 - 这些请求都是通过使用page_size = 500范围。

提出的总请求Api.openverse.Teangering在过去的30天中使用page_size = 500范围

在过去30天的过程中,这些请求占我们总流量的近80%!虽然我们的应用程序旨在处理许多请求,但这是不是旨在处理每个请求查询,每页500个结果(默认页面大小为20)。因此,这对我们的Elasticsearch集群造成了重大压力,并最终造成了API服务结果能力的破坏。下图结合了我们的一些监视工具,以显示page_size = 500请求和我们的Elasticsearch资源利用。

与Elasticsearch资源利用相比,请求计数

甚至在此版本之前,我们的应用程序都设置为节气门个体,匿名用户1请求/第二。这些page_size = 500请求来自无数不同的主人。发起者能够通过使用大量机器来绕过单个节气门(也称为僵尸网络)。这些机器也主要绑在一个数据中心和一个单一的数据中心asn,这使我们相信这是由单个用户精心策划的。

这种行为显然违反了我们的服务条款,因为这是:

  1. 不使用注册的API键进行大规模使用
  2. 从Openverse刮擦数据
  3. 使用多台机器绕过应用程序节气门
  4. 消耗足够的大量资源,以影响开放式的其他用户

减轻

如上所述,我们部署部署从本地开发环境启动代码到生产Web服务器,以便访问者可以使用。现在可以返回的更改401未经授权对于任何对API的匿名请求,包括页面大小大于20的违约。部署后几乎立即看到这种缓解措施在观察请求行为时生效:

CloudFlare分析页面的屏幕截图。中心中的图显示了带有page_size = 500的总请求,在6小时内按状态代码隔开。从9:00 PST开始,可以看到一致数量的请求(分为301和200之间)。在13:00 PST,401个请求的数量开始超过200个请求的数量。13:15之后,200个请求的数量下降到零,返回的所有请求均为401。
总数page_size = 500在6个小时的过程中提出的请求,通过退货状态代码分开

在上图中,您可以看到我们部署的v2.5.5(〜13:00 PST) - 数量200好响应减少,数量401未经授权反应大大增加了!最终所有page_size = 500请求被拒绝为未经授权。

通过这种更改,我们能够成功减轻僵尸网络并将我们的资源消耗归还典型级别。通过一些Elasticsearch指标可以轻松地看到这一点:

Elasticsearch指标在过去12个小时内

尽管OpenVerse背后的意图是使公开许可的媒体易于访问,但我们目前没有能力使用户一次访问整个数据集。我们确实计划将来探索此选项。

我们很高兴这种缓解成功,我们将继续保持警惕,以确保用户不间断地访问OpenVerse!

开放式,,,,基础设施,,,,API

社区会议回顾(2022年6月14日)

要点

完毕

进行中

需要审查

讨论

我们几乎没有时间讨论议程,但是我们谈到了共享的四个点,从...开始

  1. 促进指南的新更新。
  2. 跟进更新Elasticsearch索引的过程。
  3. 跟进002版本的更新数据库。
  4. APIAPIAPI或应用程序编程接口是一种软件中介机构,允许程序相互交互并以有限的,明确定义的方式共享数据。下一个部署计划。

社区会议回顾(2022年6月7日)

要点

完毕

  • 在两周期间合并了71个公关
  • 我们继续接收并合并新手的捐款开放式开放式开放式是公开许可媒体的搜索引擎,包括照片,音频和视频。Openverse也是收藏的名称相关代码存储库组成了项目。

进行中

需要审查

讨论

我们有两个议程项目要讨论。

数据刷新 / API延迟问题

这是一个正在进行的生产问题,正在阻止新的APIAPIAPI或应用程序编程接口是一种软件中介机构,允许程序相互交互并以有限的,明确定义的方式共享数据。部署。问题似乎是我们的基础设施和新代码的婚姻部署部署从本地开发环境启动代码到生产Web服务器,以便访问者可以使用。作为2.5.3的一部分(这是2.5.1、2.5.2和2.5.3的总部署)。

麦迪逊在试图重现该问题时分享了一些困难。我们讨论了试图在生产中测试的,但是由于这种方法固有的风险,我们同意继续试图进行分期有1:1以与生产均匀均匀部署部署从本地开发环境启动代码到生产Web服务器,以便访问者可以使用。在另一个AWS区域中进行测试的新生产堆栈(或在需要在当前实时生产中测试的情况下用作实时备份)。

目录/API中的缩略图字段

我们讨论了正在进行的工作,以阐明我们希望存储缩略图代理消耗的缩略图URL的方式。我们将继续遵循所有“生成”次级工件(缩略图,波形等)的策略,该策略由使用Cloudflare大量缓存的微服务来处理。此外,我们同意移动缩略图URLURL网站或网页上的特定网址,例如网站的URL www.www.kotonoha369.com对于主数据的音频。